请问有没有 GPT2-ML 预训练模型，希望结合 DTR 进行微调 about models HOT 4 OPEN

可以先参考DTR教程试一试 https://megengine.org.cn/doc/stable/zh/user-guide/dtr.html

from models.

我的理解是你的问题有两个：

1. 如何使用 DTR
2. GPT2-ML pre-trained model

第一个问题楼上已经回答了，对于第二个问题，目前没有提供 GPT2-ML 的模型复现和预训练好的参数。 可以参考的解决思路是，尝试在 MegEngine 上对比其它框架的实现代码进行复现（MegEngine API 学习/迁移成本很低），比如你这里提到的 https://github.com/imcaspar/gpt2-ml/blob/master/train/modeling.py . 只要模型结构一致，参数可以通过读取其他框架预训练模型的 model.state_dict() 来进行微调，本质上都是 OrderedDict.

如果你利用 MegEngine 复现了经典模型，也欢迎和 Models 的库开发者联系调优，看能否成为 Contributor.

from models.

可以先参考DTR教程试一试 https://megengine.org.cn/doc/stable/zh/user-guide/dtr.html

好的

from models.

我的理解是你的问题有两个：

1. 如何使用 DTR
2. GPT2-ML pre-trained model

第一个问题楼上已经回答了，对于第二个问题，目前没有提供 GPT2-ML 的模型复现和预训练好的参数。 可以参考的解决思路是，尝试在 MegEngine 上对比其它框架的实现代码进行复现（MegEngine API 学习/迁移成本很低），比如你这里提到的 https://github.com/imcaspar/gpt2-ml/blob/master/train/modeling.py . 只要模型结构一致，参数可以通过读取其他框架预训练模型的 model.state_dict() 来进行微调，本质上都是 OrderedDict.

如果你利用 MegEngine 复现了经典模型，也欢迎和 Models 的库开发者联系调优，看能否成为 Contributor.

GPT2-ML也是基与bert，部分代码做了优化，我来试试，谢谢指导！

from models.