开启ppo-ptx会出现梯度重复计算的报错 about openrlhf HOT 6 CLOSED

我用deepspeed-chat官方代码跑的时候，如果不加ptx loss，会有一定概率导致actor训着训着输出就变成空的，加了以后（而且它默认的ptx_coef非常大）就不会有这个问题，而且效果也还可以。分两次backward的做法我也在它的代码里看到了，我先试一下引入看能不能跑通吧。

from openrlhf.

这个BUG是由 DeepSpeed 造成的，他们一直没有修复
见 microsoft/DeepSpeed#627
一种trick的解决方法是 ptx loss 和 ppo loss 分两次backward（有兴趣可以尝试下 提交 MR 需要注意的点是 两次 backward 会破坏 deepspeed 的 accumulated 次数计算，所以又要加一个trick补丁）
我暂时没有修这个的原因是 由于一般大家没有预训练数据 很少会用 ptx

from openrlhf.

其实就是 gradient checkpoint 和 两条路径的backward 冲突了，如果你模型小的话 关掉gradient checkpoint 也能跑

from openrlhf.

改了就可以跑了：

self.strategy.backward(self.ptx_coef * ptx_loss, self.actor, self.actor_optim)
# actor_loss = ptx_loss * self.ptx_coef + raw_actor_loss

额外的trick补丁是指什么呢

from openrlhf.

已经修正

from openrlhf.

ptx_coef好像没用上

from openrlhf.