代码开源，大家放心使用，欢迎贡献! 注意：模型的license取决于模型提供方
- 💥最新讯息
- 💫OpenNLP计划
- 💫OpenChat-PiXiu
- 🌟开源ChatGPT调研
- ⛏️使用步骤
- 📄运行示例
- 📄结果展示
- 🛠️常见报错
- 💐参考资料&致谢
- 🌟赞助我们
- 🌈Starchart
- 🏆Contributors
- 2023/04/14：ChatPiXiu项目正式启动：
- 开源ChatGPT平替调研汇总
我们是谁？
我们是羡鱼智能【xianyu.ai】，主要成员是一群来自老和山下、西湖边上的咸鱼们，塘主叫作羡鱼，想在LLMs时代做点有意义的事！我们的口号是：做OpenNLP和OpenX！希望在CloseAI卷死我们之前退出江湖！
也许有一天，等到GPT-X发布的时候，有人会说NLP不存在了，但是我们想证明有人曾经来过、热爱过！在以ChatGPT/GPT4为代表的LLMs时代，在被CloseAI卷死之前，我们发起了OpenNLP计划，宗旨是OpenNLP for everyone!
- 【P0】OpenTextClassification：打造一流的文本分类项目，已开源
- 综述：done
- 开源项目：done
- papers解读：doing
- 炼丹术：done
- 【P0】OpenSE：句嵌入，自然语言处理的核心问题之一，doing
- 【P0】ChatPiXiu：ChatGPT开源平替及领域适应，doing
- 【P1】OpenLLMs：大语言模型，doing
- 【P2】OpenTextTagger：文本标注，分词、NER、词性标注等
- OpenX：任重而道远
ChatPiXiu项目为OpenNLP计划的第2个正式的开源项目，旨在Open ChatGPT for everyone！在以ChatGPT/GPT4为代表的LLMs时代，在被OpenAI卷死之前，做一点有意义的事情！未来有一天，等到GPT-X发布的时候，或许有人会说NLP不存在了，但是我们想证明有人曾来过！
本项目的开发宗旨，打造全面且实用的ChatGPT模型库和文档库。Eat every ChatGPT - Output your own chatbot!
目前我们正在启动V1版本的开发，整体的开发计划如下，主要包括了文档和代码两类任务，数据的部分我们暂时将其分散到了各个子任务中。
V1版本：资料调研+通用最小实现+领域/任务适配
文档分支主要负责项目文档的建设，包括通用技术文档和项目相关文档。
dev_for_docs：文档分支，主要负责资料调研（算力有限，有调查才有训练权）：
- 【P0】开源ChatGPT调研：持续更新，doing
- 【P0】训练技术调研：持续更新，doing
- 【P0】数据调研：doing
- 【P1】部署技术调研：TODO
- 【P2】基础模型调研：目前以LLaMA和GLM为主，doing
- 【P3】技术解读/教程：doing
代码分支，负责具体的开发工作，包括数据处理、算法开发、算法评测等，分成通用最小实现和领域/任务适应两种，具体的：
dev_for_chatmini：通用最小实现分支，尽可能支持不同的基础模型和训练方式，提供可比较的实现。
- 【P0】ChatGPT最小复现：完整的RLHF复现SFT-RM-PPO，doing
- 【P0】适配不同的基座模型
- 适配不同的PEFT算法
- 【P2】探索新的训练方式
- 【P3】探索知识迁移：比如蒸馏
dev_for_chatzhihu：知乎及问答领域适配，主要想解决一些知乎使用过程中的痛点，比如问题冗余、回答太多等等。
- 【P0】收集知乎数据收集及处理
- SFT数据
- RLHF数据：答案打分
- 摘要数据：答案/观点汇总、摘要
- 【P0】基于知乎数据做SFT
- 【P1】基于知乎数据做RLHF
- 【P2】输出知乎LoRA
- 【P3】和知乎热榜聊天的demo
dev_for_chatzhangsan：法律领域适配，张三犯了什么罪？
- 【P0】法律领域数据收集及处理
- 法律条文解释
- 【P1】罪名判定：张三犯了什么罪？
更多领域，敬请期待！
ChatPiXiu-Eat every ChatGPT - Output your own chatbot!
OpenNLP计划的其他内容尚在筹备中，暂时只开源了本项目和OpenTextClassification项目。欢迎大家积极参与ChatPiXiu的建设和讨论，一起变得更强！
加入方式：
- 项目建设：可以在前面列出的开发计划中选择自己感兴趣的部分进行开发，建议优先选择高优先级的任务。包括资料调研和算法开发等工作。
- OpenLLM技术交流群：知识在讨论中发展，QQ群：740679327
- 技术分享和讨论：输出倒逼输入，欢迎投稿，稿件会同步到本项目的docs目录和知乎专栏OpenNLP. 同时也欢迎大家积极的参与本项目的讨论https://github.com/catqaq/ChatPiXiu/discussions。
| 项目 | 基础模型 | 机构 | 数据集 | license | 介绍 | 备注 |
|---|---|---|---|---|---|---|
| stanford_alpaca Alpaca |
LLaMA | stanford | alpaca_data | Apache-2.0 license | An Instruction-following LLaMA Model. 让 OpenAI 的 text-davinci-003 模型以 self-instruct 方式生成 52K 指令样本，SFT |
|
| ChatLLaMA | LLaMA | Nebuly+AI | - | license | 数据集创建、使用 RLHF 进行高效训练以及推理优化。 | |
| Chinese-LLaMA-Alpaca | LLaMA | ymcui | - | Apache-2.0 license | 中文LLaMA&Alpaca大语言模型+本地CPU/GPU部署 (Chinese LLaMA & Alpaca LLMs) | |
| alpaca-lora | LLaMA | stanford | LLaMA-GPT4 dataset | Apache-2.0 license | LoRA | |
| Chinese-alpaca-lora Luotuo-Chinese-LLM |
LLaMA | LC1332 | - | Apache-2.0 license | LoRA | |
| ChatGLM | GLM | 清华 | 1T 标识符的中英双语数据 | Apache-2.0 license | 监督微调、反馈自助、人类反馈强化学习 | PROJECT.md |
| FastChat Vicuna |
LLaMA | 斯坦福、CMU、UC伯克利 | ShareGPT | Apache-2.0 license | SFT，使用GPT-4作为评判标准，结果显示Vicuna-13B在超过90%的情况下实现了与ChatGPT和Bard相匹敌的能力。 | |
| Chinese-Vicuna | LLaMA | - | - | Apache-2.0 license | LoRA | |
| EasyLM Koala考拉 |
LLaMA multi |
UC伯克利 | ChatGPT数据和开源数据（Open Instruction Generalist (OIG)、斯坦福 Alpaca 模型使用的数据集、Anthropic HH、OpenAI WebGPT、OpenAI Summarization） | Apache-2.0 license | SFT | |
| ColossalChat | LLaMA | ColossalAI | InstructionWild:104K bilingual datasets | LICENSE | SFT-RM-RLHF | |
| ChatRWKV | RWKV | BlinkDL | - | Apache-2.0 license | ChatRWKV is like ChatGPT but powered by RWKV (100% RNN) language model, and open source. | |
| ChatYuan | T5 | 元语智能 | PromptClue | LICENSE | 基于PromptClue进行了监督微调 | |
| OpenChatKit | GPT-NoX-20B | Together+LAION+Ontocord.ai | OIG-43M | Apache-2.0 license | 60亿参数的审核模型，对不合适或者是有害的信息进行过滤 | |
| BELLE | Bloom LLama |
LianjiaTech | 10M-ChatGPT生成的数据 | Apache-2.0 license | SFT | |
| PaLM-rlhf-pytorch | PaLM | lucidrains | - | MIT license | RLHF | PaLM太大了 |
| dolly | GPT-J-6B | - | - | - | 参考Alpaca | |
| LMFlow | LLaMA | OptimalScale | An Extensible Toolkit for Finetuning and Inference of Large Foundation Models. Large Model for All. LLaMA-7B，一张3090耗时 5 个小时 |
|||
| GPTrillion | - | - | - | - | 1.5万亿，多模态 | |
| open_flamingo | LLaMA CLIP |
LAION | Multimodal C4 | MIT license | ||
| baize-chatbot | LLaMA | project-baize | 100k dialogs generated by letting ChatGPT chat with itself. | GPL-3.0 license | LoRA | |
| ChatPiXiu | multi | 羡鱼智能 | - | - | LoRA | 筹备阶段 |
| stackllama | LLaMA | Hugging Face | - | - | 用RLHF训练LLaMA的实践指南 | |
| lit-llama | LLaMA | lightening-ai | - | Apache-2.0 license | 重写重训LLaMA,绕开license | 概念阶段 |
| OPT | OPT | meta | - | MIT license | 当年对标GPT3的模型 |
| model | 架构 | 机构 | 数据 | license | 介绍 | 备注 |
|---|---|---|---|---|---|---|
| LLaMA | GPL-3.0 license | 当前开源ChatGPT复现中使用最多的基础模型 | ||||
| GLM | Apache-2.0 license | GLM,中英双语，可能是当前开源的中文效果最好的基础模型； | ||||
| GPT | ||||||
| OPT |
| dataset | type | 机构 | 大小 | license | 介绍 | 备注 |
|---|---|---|---|---|---|---|
| alpaca_data | Instruction | stanford | ||||
| alpaca_chinese_dataset | - | hikariming | ||||
| Multilingual Instruction | Guanaco | |||||
| alpaca_chinese_dataset | carbonz0 | |||||
| 0.5M+1M chinese instruction | LianjiaTech | |||||
| shareGPT | lm-sys |
| 框架 | type | 机构 | 兼容性 | license | 介绍 | 备注 |
|---|---|---|---|---|---|---|
| ColossalAI | general | hpcaitech | 高 | Apache-2.0 license | Colossal-AI: Making large AI models cheaper, faster, and more accessible 支持ChatGPT完整复现 |
|
| RLHF | RL | sunzeyeah | 基于transformers库实现 | - | Implementation of Chinese ChatGPT. SFT、Reward Model和RLHF |
|
| trlx | RL | CarperAI | 强大的transformer 强化学习库 | MIT license | A repo for distributed training of language models with Reinforcement Learning via Human Feedback (RLHF) 不支持自定义预训练模型。 |
|
| trl | RL | Hugging Face | 基于transformers | Apache-2.0 license | 只要是基于ransformers 库开发的预训练库，均可适配，强烈推荐 | |
| DeepSpeed-Chat | general | microsoft | 基于DeepSpeed | Apache-2.0 license | 训练速度大幅提升 |
1.克隆本项目
git clone https://github.com/catqaq/ChatPiXiu.git
2.准备数据
3.运行示例
开源ChatGPT替代模型项目整理https://zhuanlan.zhihu.com/p/618790279
平替chatGPT的开源方案 https://zhuanlan.zhihu.com/p/618926239ChatGPT/GPT4
开源“平替”汇总https://zhuanlan.zhihu.com/p/621324917
完整版 ChatGPT 克隆方案，开源了！https://zhuanlan.zhihu.com/p/617996976
ColossalChat：完整RLHF平替ChatGPT的开源方案 https://zhuanlan.zhihu.com/p/618048558ChatGPT
开源平替来了，开箱即用！前OpenAI团队打造，GitHub刚发布就揽获800+星https://zhuanlan.zhihu.com/p/613556853
LoRA:大模型的低秩适配-最近大火的lora到底是什么东西？为啥stable diffusion和开源ChatGPT复现都在用？https://zhuanlan.zhihu.com/p/620327907?
成本不到100美元！UC伯克利再开源类ChatGPT模型「考拉」：数据量大没有用，高质量才是王道https://zhuanlan.zhihu.com/p/621078208
ChatGPT平替方案汇总https://zhuanlan.zhihu.com/p/618839784
微软宣布开源 Deep Speed Chat，可将训练速度提升 15 倍以上，哪些信息值得关注？https://www.zhihu.com/question/595311294
总结当下可用的大模型LLMshttps://zhuanlan.zhihu.com/p/611403556
我们是谁？
我们是羡鱼智能【xianyu.ai】，主要成员是一群来自老和山下、西湖边上的咸鱼们，塘主叫作羡鱼，想在LLMs做点有意义的事！我们的口号是：做OpenNLP和OpenX！希望在OpenAI卷死我们之前退出江湖！
ChatPiXiu项目为羡鱼智能【xianyu.ai】发起的OpenNLP计划的第2个正式的开源项目，旨在Open ChatGPT for everyone！在以ChatGPT/GPT4为代表的LLMs时代，在被OpenAI卷死之前，做一点有意义的事情！未来有一天，等到GPT-X发布的时候，或许有人会说NLP不存在了，但是我们想证明有人曾来过！
本项目第一版由本羡鱼利用业务时间（熬夜）独立完成，受限于精力和算力，拖延至今，好在顺利完成了。如果大家觉得本项目对你的NLP学习/研究/工作有所帮助的话，求一个免费的star! 富哥富姐们可以考虑赞助一下！尤其是算力，租卡的费用已经让本不富裕的鱼塘快要无鱼可摸了！
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent