Comments (12)
您好,请问一下,您这个BN融合的代码是在哪里找的呢?
from micronet.
您好,请问一下,您这个BN融合的代码是在哪里找的呢?
就是在IAO/models/util_wqaq里的BNFold_Conv2d_Q函数,就训练过程中总是会出现loss=nan,不知道为什么
from micronet.
from micronet.
建议换一个模型,我是用自己的模型进行训练,没有出现梯度消失的情况 | | 王良 | | 邮箱:[email protected] | 签名由 网易邮箱大师 定制 在2020年10月15日 14:26,yhl1010 写道: 您好,请问一下,您这个BN融合的代码是在哪里找的呢? 就是在IAO/models/util_wqaq里的BNFold_Conv2d_Q函数,就训练过程中总是会出现loss=nan,不知道为什么 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.
您也是把BNFold_Conv2d_Q这个函数去替换原模型中的conv+bn吗?您的模型大吗?是用在哪个领域呢,分类,检测还是分割?谢谢
from micronet.
from micronet.
对,我用的是vgg16,检测方面 | | 王良 | | 邮箱:[email protected] | 签名由 网易邮箱大师 定制 在2020年10月15日 16:13,yhl1010 写道: 建议换一个模型,我是用自己的模型进行训练,没有出现梯度消失的情况 | | 王良 | | 邮箱:[email protected] | 签名由 网易邮箱大师 定制 在2020年10月15日 14:26,yhl1010 写道: 您好,请问一下,您这个BN融合的代码是在哪里找的呢? 就是在IAO/models/util_wqaq里的BNFold_Conv2d_Q函数,就训练过程中总是会出现loss=nan,不知道为什么 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. 您也是把BNFold_Conv2d_Q这个函数去替换原模型中的conv+bn吗?您的模型大吗?是用在哪个领域呢,分类,检测还是分割?谢谢 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.
感谢,我去试一下用在分割任务中!
from micronet.
您好,请问做过关于将最后训练完成的模型拿出来用bn_folding.py和bn_floding_test.py这两个程序进行压缩量化?
from micronet.
您好,请问做过关于将最后训练完成的模型拿出来用bn_folding.py和bn_floding_test.py这两个程序进行压缩量化?
还没有额,我才刚开始研究这个工程,不好意思!
from micronet.
如果你后面做过且有效果的请告知我一下,谢谢
from micronet.
你好,我也是把bn_fold设为1时训练几个epoch就会出现loss=nan,如果是在训练好的模型上继续做量化训练,第一个batch的backward就会使部分参数的梯度为nan,没法继续训练,问下大佬这个问题解决了吗,谢谢。
from micronet.
已修复。
from micronet.
您好我在训mobilenet的检测模型时也遇到了某些epoch之后就梯度nan的问题,请问您是怎么修复的呢?
已修复。
from micronet.
Related Issues (20)
- yolov5量化实验 HOT 1
- weight量化问题
- 关于后训练量化的疑惑,真真诚诚希望得到解答 HOT 1
- 关于反卷积和BN层融合的疑惑 HOT 1
- WQ的max_val为什么是 (1 << self.bits) - 2)?
- 关于是否有必要添加输出量化的问题? HOT 1
- 修改成自己模型后遇到的问题
- Can you add an English version please?
- 模型压缩数据对比,没有指出是wbwtab 还是wqaq训练的?
- wbwtab下的bn_fuse 设置问题
- zero_point 求法
- 请求帮助,模型量化时是一定要重新手动创建一个量化的模型类脚本吗。
- modify weight/activation
- nin_gc网络,在add_quant_op()函数中为什么没有通道拆分并transpose,再reshape? HOT 1
- 请问压缩之后的网络可以直接拿来在pytorch上做inference嘛? HOT 1
- 量化导入自己pth模型时候出现 KeyError: 'state_dict' HOT 1
- Dorefa训练的反向传播 HOT 1
- nin_gc训练一段step后,loss变很大很大 HOT 2
- 采用迁移的dorefa方法的量化训练问题
- 模型·大小对比 HOT 8
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from micronet.