- 🔭 南京某创业公司,首席算法架构师
- 🌱 研究方向:QA系统(向量检索、阅读理解)、文本生成(问题生成、对话生成、摘要生成)、预训练语言模型等
- 💬 微信:logCong
- 📫 问题:知乎 @刘聪NLP
- 😄 微信公众号:公众号『 NLP工作站 』
- 👯 希望可以多多跟大家交流,欢迎关注我的知乎,欢迎添加微信!
liucongg / blockshuffletest Goto Github PK
View Code? Open in Web Editor NEWBlockShuffle,就是在训练过程中使用分块打乱替代随机打乱的一种方法,即将原始数据按照数据长度进行排序,然后进行batch划分,在对batch训练进行打乱。这样操作,可以减少数据padding长度,缩短训练时长。
License: Apache License 2.0