请教关于训练日志中的一些问题 about glm-130b HOT 2 CLOSED

您好 @XiaoqingNLP

1. 是我们自己的训练用的开发仓库名字，基于 Megatron-DeepSpeed 修改而来。
2. 在流水线并行下，一次个 batch 会被划分为若干 micro batch 来减少流水线的气泡，因此梯度累加是必须使用的。具体来说，我们采用的是 1F1B 的流水线 schedule。
3. 这个只是我们排查不收敛是不是 reshuffle 导致的，此外这部分在日志中标记了（废除），最终的训练曲线没有这一段。
4. 是的，我们发现需要缓慢改变数据的分布，否则会导致训练不收敛。
5. 一般观察到的现象是 loss 先 spike 到几个数量级以上，再 nan。

抱歉我们的日志没有记录的太详细，当时只是内部记载用，如果还有更多问题欢迎提出 :)

from glm-130b.

请问LargeScale有开源版本吗？

from glm-130b.