微调代码什么时候能够发布 about chatglm3 HOT 27 CLOSED

推荐一手我们团队开发的微调工具库：XTuner
目前已经支持了 ChatGLM3-6B-Base 的微调；同时，在数据集处理逻辑上，我们也进行了精心设计，方便拓展自定义数据。

一键启动

ChatGLM3-6B-Base, QLoRA, open assistant 数据集（显存占用 11GB 左右）

pip install xtuner==0.1.6
xtuner train chatglm3_6b_base_qlora_oasst1_e3

from chatglm3.

LLaMA-Factory is all you need: https://github.com/hiyouga/LLaMA-Factory

from chatglm3.

@LZHgrla thanks , and i've finally launched up my QLora fine tune .

from chatglm3.

+1

from chatglm3.

+1支持

from chatglm3.

+1

from chatglm3.

chatGLM2的微调代码适用不？很好奇都是同一个系列的模型，为什么微调代码不能共用呀？

from chatglm3.

魔搭那边支持了：https://github.com/modelscope/swift/tree/main/examples/pytorch/llm/scripts/chatglm3_6b_32k/lora_ddp_ds

from chatglm3.

魔搭那边支持了：https://github.com/modelscope/swift/tree/main/examples/pytorch/llm/scripts/chatglm3_6b_32k/lora_ddp_ds

想问下大佬，想用多轮对话数据训练chatglm3，应该怎么组织数据呀？魔搭这个文档我没看明白要怎么组织。。。

from chatglm3.

chatGLM2的微调代码适用不？很好奇都是同一个系列的模型，为什么微调代码不能共用呀？

输入格式不一样

from chatglm3.

https://github.com/xxw1995/chatglm3-finetune

from chatglm3.

好东西， mark 一下

from chatglm3.

@WangRongsheng does LLaMA-Factory support GLM2-6b and using Qlora SFT . in several steps ?

from chatglm3.

@LZHgrla how to use xtuner in command line to train my custom dataset , mode is QLora . any guide doc link ?

from chatglm3.

@LZHgrla how to use xtuner in command line to train my custom dataset , mode is QLora . any guide doc link ?

Single-turn conversation Docs: zh_cn, en

Multi-turn conversation Docs: zh_cn, en

from chatglm3.

@WangRongsheng does LLaMA-Factory support GLM2-6b and using Qlora SFT . in several steps ?

Yes, it can do.

from chatglm3.

@LZHgrla following single turn conversation doc guide : i got this error: NotImplementedError: Loading a dataset cached in a LocalFileSystem is not supported.
any ideas ?? @LZHgrla
leo@leo-System-Product-Name:~/Downloads/mvp/work_dirs$ xtuner -v
10/29 20:58:18 - mmengine - INFO - 0.1.6

from chatglm3.

@LZHgrla following single turn conversation doc guide : i got this error: NotImplementedError: Loading a dataset cached in a LocalFileSystem is not supported. any ideas ?? @LZHgrla leo@leo-System-Product-Name:~/Downloads/mvp/work_dirs$ xtuner -v 10/29 20:58:18 - mmengine - INFO - 0.1.6

You can try pip install -U datasets

If you have further questions, please post them on here

from chatglm3.

marked

from chatglm3.

marked

from chatglm3.

推荐一手我们团队开发的微调工具库：XTuner 目前已经支持了 ChatGLM3-6B-Base 的微调；同时，在数据集处理逻辑上，我们也进行了精心设计，方便拓展自定义数据。

一键启动

ChatGLM3-6B-Base, QLoRA, open assistant 数据集（显存占用 11GB 左右）

pip install xtuner==0.1.6
xtuner train chatglm3_6b_base_qlora_oasst1_e3

使用xtuner train 微调chatglm3后 无法生成 adapter_config.json 导致qlora训练后的权重无法使用@LZHgrla

from chatglm3.

关心这个问题，谢谢

+1

from chatglm3.

https://github.com/minghaochen/chatglm3-base-tuning

chatglm3发布了，这次还发了base版本的模型，意味着我们可以基于这个base模型去自由地做SFT了。本项目实现了基于base模型的多轮对话SFT。

from chatglm3.

关心这个问题，谢谢

+1

from chatglm3.

推荐一手我们团队开发的微调工具库：XTuner 目前已经支持了 ChatGLM3-6B-Base 的微调；同时，在数据集处理逻辑上，我们也进行了精心设计，方便拓展自定义数据。

一键启动

ChatGLM3-6B-Base, QLoRA, open assistant 数据集（显存占用 11GB 左右）

pip install xtuner==0.1.6
xtuner train chatglm3_6b_base_qlora_oasst1_e3

使用xtuner train 微调chatglm3后 无法生成 adapter_config.json 导致qlora训练后的权重无法使用@LZHgrla

我们这边测试并不会出现这个问题，训练后经过转换可以直接获得qlora的adapter权重

from chatglm3.

微调代码什么时候能够发布？

from chatglm3.

微调代码已发布，请参考 ChatGLM3-6B 微调示例。

from chatglm3.