Comments (7)
应该是第一个步骤出问题了,可以https://github.com/PaddlePaddle/PaddleGAN/blob/develop/ppgan/models/generators/wav2lip.py#L272 在这个函数中print各个变量shape看一下是否符合预期,建议先吧-1变成一个固定值
from paddlegan.
应该是第一个步骤出问题了,可以https://github.com/PaddlePaddle/PaddleGAN/blob/develop/ppgan/models/generators/wav2lip.py#L272 在这个函数中print各个变量shape看一下是否符合预期,建议先吧-1变成一个固定值
您好!经过两天时间测试 并没有发现输入的shape出问题,而且我在您说的https://github.com/PaddlePaddle/PaddleGAN/blob/develop/ppgan/models/generators/wav2lip.py#L272函数中打印了所有的输入变量的shape是(128,1,80,16)和(128,6,96,96),length正常!关于您说的建议先吧-1变成一个固定值,我也做了相关测试,并没有作用。
还有就是,我是直接将原模型的输入,封装成dic,作为onnx的输入,对此我也做了onnx run之前的数据校验,也是没问题的!
至此我非常相信您提议的步骤1出现问题,但个人怀疑这或许maybe.....步骤1.是在paddle2onnx中出现的bug,所以,期望您能在您电脑本地进行转换尝试,给一个较为确定的答复。
再次感谢paddle同学的付出!
from paddlegan.
我发现尺寸的问题是,版本问题照成的!我从python7----python10,还有不同的paddlepaddle版本都尝试了一边,只有python8是能尺寸一样的并且直接将仓库的ppgan文件夹复制到conda安装包目录下可以解决一些问题!第一次用paddle心好累,感觉文档也比较乱(....),好像啥都挺好但用起来很无助~
但是,虽然现在onnx模型的输出尺寸和原模型相同,输出结果仍然不对!而且我特么发现,每次执行动态图转静态图之后,用新合成的onnx输出结果都是不一样的,很不一样!我真的很希望,百度既然对自己的框架有信心开源,为什么自己不把做好的模型尝试一样是否能正常部署,wav2lip可是21年就发布的~(甚至考虑把静态图分享出来),如果框架没问题,也就两分钟更何况是内部团队的同学。当然啦,还是祝愿paddle越来越好吧~~~~唉~
from paddlegan.
@drakitLiu
提供一点思路:
- 挑选合适的paddle版本,先尝试2.6.0(版本变化太大),然后尝试2.5.2(版本比较适中,可能比较适配paddle2onnx这个工具),
- 导出的onnx文件使用工具 https://netron.app/ 查看各个部分的输入,可以定位是哪里的shape出现错误
from paddlegan.
使用了paddle2.6.0,python试了3.8和3.9,运行均没有问题,输入输出尺寸也正确~
静态图输出结果不对问题,排查是预训练模型没有成功加载,修复PR https://github.com/PaddlePaddle/PaddleGAN/pull/836。
分享我的运行命令如下:
- 安装paddle,安装requirements.txt中的包,安装paddlegan,安装ffmpeg(conda安装)
- 运行动态图推理,存下输入和输出,用于验证静态图和onnx输出结果是否正确
cd applications
python tools/wav2lip.py --face ../docs/imgs/mona7s.mp4 --audio ../docs/imgs/guangquan.m4a --outfile pp_guangquan_mona7s.mp4 - 动转静导出
python -u tools/export_model.py -c configs/wav2lip_hq.yaml --load wav2lip_hq.pdparams --inputs_size="128,1,80,16;128,6,96,96" - 转onnx
paddle2onnx --model_dir ./inference_model --model_filename wav2lipmodelhq_netG.pdmodel --params_filename wav2lipmodelhq_netG.pdiparams --save_file model.onnx --enable_dev_version True --opset_version 13 --enable_onnx_checker True - 运行静态图,并验证输出结果
- 运行onnx,并验证输出结果
from paddlegan.
@drakitLiu 提供一点思路:
- 挑选合适的paddle版本,先尝试2.6.0(版本变化太大),然后尝试2.5.2(版本比较适中,可能比较适配paddle2onnx这个工具),
- 导出的onnx文件使用工具 https://netron.app/ 查看各个部分的输入,可以定位是哪里的shape出现错误
谢谢,@wangna11BD已经解决!
from paddlegan.
使用了paddle2.6.0,python试了3.8和3.9,运行均没有问题,输入输出尺寸也正确~ 静态图输出结果不对问题,排查是预训练模型没有成功加载,修复PR https://github.com/PaddlePaddle/PaddleGAN/pull/836。 分享我的运行命令如下:
- 安装paddle,安装requirements.txt中的包,安装paddlegan,安装ffmpeg(conda安装)
- 运行动态图推理,存下输入和输出,用于验证静态图和onnx输出结果是否正确
cd applications
python tools/wav2lip.py --face ../docs/imgs/mona7s.mp4 --audio ../docs/imgs/guangquan.m4a --outfile pp_guangquan_mona7s.mp4- 动转静导出
python -u tools/export_model.py -c configs/wav2lip_hq.yaml --load wav2lip_hq.pdparams --inputs_size="128,1,80,16;128,6,96,96"- 转onnx
paddle2onnx --model_dir ./inference_model --model_filename wav2lipmodelhq_netG.pdmodel --params_filename wav2lipmodelhq_netG.pdiparams --save_file model.onnx --enable_dev_version True --opset_version 13 --enable_onnx_checker True- 运行静态图,并验证输出结果
- 运行onnx,并验证输出结果
经复现 已经解决!感谢!!!可以愉快部署了!祝好!
from paddlegan.
Related Issues (20)
- MPR_Net Deblurring 训练模型报错 HOT 1
- How to retrain first order 512 in vox datasets HOT 1
- where is the motion transfer model path? HOT 1
- 如何流式输出paddlegan生成的视频 HOT 1
- --face argument must be a valid path to video/image file HOT 1
- 在使用pix2pix模型训练自己的数据集时,打印生成器生成的fake_B时,发现里面全为0 HOT 1
- 功能演示用的是哪个模型 HOT 1
- ENGLISH? And Where to start? HOT 3
- 这边按照[文档](https://github.com/PaddlePaddle/PaddleGAN/blob/develop/docs/zh_CN/tutorials/wav2lip.md)运行的方式,paddlepaddle生成器的输出形状是(128,3,96,96),通道数是3。注意到,该模型生成器代码最后有个判断分支可能会影响输出数据的形状,可以在相应的套件issue问下该分支的作用。
- Pix2Pix模型的direction与配置文件不一致,恒定从B到A HOT 1
- stylegan_v2_256是否可以训练生成512或者1024尺寸的图片,如何配置yaml? HOT 1
- 感谢paddleGAN,请问wav2lip,如果我需要高清版的,是不是需要改generater下边的wav2lip.py代码,将原来的96*96改成384*384或512*512 ?还是说,我只需要换高清数据集就行 ?拜托拜托~
- 使用DAIN进行插帧时出现的device问题
- wav2lip用自己的数据集训练!4090训练了两天,生成的视频和原视频一样,嘴型没有任何变化!可能是什么原因? 还有!我想知道啊 真的不用重新训练SyncNet嘴型判别器?
- 找不到pixel2style2pixel.py styleganv2editing.py 文件 HOT 1
- StyleGAN V2 HOT 4
- stylegan2训练请教 HOT 1
- 安装ppgan时报错,ERROR: Could not build wheels for numba, llvmlite, which is required to install pyproject.toml-based projects HOT 4
- 这个模型找不到了,有人可以给一下吗
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from paddlegan.