MiniGPT-4: 使用先进的大型语言模型增强视觉语言理解 作者为朱德尧、陈俊、沈晓倩、李翔和Mohamed Elhoseiny。*表示贡献相等。
所属机构为沙特阿拉伯国王科技大学。
更多的例子可以在项目页面中找到。
我们现在提供了一个与 Vicuna-7B 对齐的预训练MiniGPT-4!演示GPU内存消耗现在可以低至12GB。
Vicuna-13B fp16 目前已知需要 35G 显存,加载图片后,会到43G,运行时内存高峰大概14G。
转换权重时,大概需要80G内存,可以尝试增大 swap 空间。
我原本以为,翻译这篇文档就能帮助大家部署,我自己实际部署下来,发现中间有超级多的坑,非常不利于小白。后续我准备制作一个一键部署包,方便大家。敬请期待~ 有新消息我会及时发布到群里面。
这是我最近发现的一个一键安装包。感谢@camenduru 同学。很奇怪的是,他的模型只有433MB大小。而我转出来的有37G。
问题解决了,项目实际运行时,还是需要去下载模型的。
目前测试下来,一键安装包,运行时需要17G显存。
感谢群友 成浩 同学提供的 windows安装踩坑指南 https://xlch.wolai.com/pBtGyPh6hyGx118o4deTk
如果翻译对您有帮助,请帮忙右上角 点击 star.
欢迎加入国内AI商业应用交流群
- MiniGPT-4使用一个投影层来将来自BLIP-2的冻结视觉编码器与冻结的LLM Vicuna对齐。
- 我们通过两个阶段来训练MiniGPT-4。第一个传统的预训练阶段在使用4个A100大约10小时内,使用大约500万个图像-文本对进行训练。第一阶段过后,Vicuna能够理解图像。但是其生成能力受到了严重的影响。
- 为了解决这个问题和提高可用性,我们提出了一种通过模型和ChatGPT自身创建高质量图像-文本对的新方法。基于此,我们创建了一个小型(总共3500对)但是高质量的数据集。
- 第二个微调阶段在对话模板上使用该数据集进行训练,以显著提高其生成可靠性和整体可用性。令人惊讶的是,这个阶段具有计算效率,并且只需要使用单个A100大约7分钟的时间。
- MiniGPT-4能够产生许多类似于GPT-4中展示的新兴视觉语言能力。
入门指南:
1.准备代码和环境
请先将我们的代码库克隆到本地,创建一个Python环境,然后通过以下命令激活它
git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4
conda env create -f environment.yml
conda activate minigpt4
2.准备预训练的Vicuna权重
不想自己折腾的直接下载我们准备好的权重(公开可能会有版权问题,所以暂时先放到微信群了。),然后跳转到第 3 步
当前版本的MiniGPT-4是建立在Vicuna-13B v0版本之上的。请参考我们的说明here来准备Vicuna权重。
如何准备Vicuna权重
Vicuna是一种基于LLAMA的LLM,性能接近于ChatGPT,并且是开源的。我们当前使用的是Vicuna-13B v1.1版本。
为了准备Vicuna的权重,首先从 https://huggingface.co/lmsys/vicuna-13b-delta-v1.1 下载Vicuna的增量权重。如果你已经安装了git-lfs(https://git-lfs.com), 可以通过以下方式完成:
git lfs install
# git clone https://huggingface.co/lmsys/vicuna-13b-delta-v0
git clone https://huggingface.co/lmsys/vicuna-13b-delta-v1.1
请注意,这并不是直接可用的工作权重,而是工作权重与LLAMA-13B原始权重之间的差异(由于LLAMA的规则,我们无法分发LLAMA的权重)。
然后,您需要获取原始的LLAMA-13B权重,可以按照HuggingFace提供的说明here或者从互联网上下载。
提示:
直接使用迅雷下载,种子在此
下面是备选方案: ---- 备选方案开始。----
可以通过填写表格来获取LLaMA模型的权重。你肯定不用填写,因为“热心网友”已经泄漏出来了 网址如下:meta-llama/llama#149
小白请推荐百度网盘 https://pan.baidu.com/s/1ujG85wgQFuIyf74N9k2MDQ?pwd=nu4d 不充会员的,可以使用 ipfs,或者迅雷。具体方法如下:
# 找到这个部分,你可以直接点击链接进入,使用迅雷下载。
Full backup: ipfs://Qmb9y5GCkTG7ZzbBWMu2BXwMkzyCKcUjtEKPpgdZ7GEFKm
7B: ipfs://QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw
13B: ipfs://QmPCfCEERStStjg4kfj3cmCUu1TP7pVQbxdFMwnhpuJtxk
30B: ipfs://QmSD8cxm4zvvnD35KKFu8D9VjXAavNoGWemPW1pQ3AF9ZZ
65B: ipfs://QmdWH379NQu8XoesA8AFw9nKV2MpGR4KohK7WyugadAKTh
也可以使用Kubo CLI中的以下命令:
# 可选:预加载 7B 模型。检索您尚未拥有的内容。如有需要,请替换为其他 CID。
ipfs refs -r QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw
# 可选:固定7B模型。GC会删除您不使用的旧内容,这可以防止启用 GC 后模型被清除。
ipfs pin add QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw
# 通过CLI从IPFS下载并保存到磁盘:
ipfs get QmbvdJ7KgvZiyaqHw5QtQxRtUd7pCAdkWWbzuvyKusLGTw --output ./7B
下载完成后,去百度网盘下载 tokenizer_checklist.chk tokenizer.model 这2个文件。
---- 备选方案结束。----
文件夹结构如下:
.
├── 13B
│ ├── =
│ ├── checklist.chk
│ ├── consolidated.00.pth
│ ├── consolidated.01.pth
│ └── params.json
├── tokenizer_checklist.chk
└── tokenizer.model
下载完权重之后,需要使用转换脚本将它们转换为Hugging Face Transformers格式。可以使用以下命令(示例)调用脚本: 脚本地址:https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/convert_llama_weights_to_hf.py
# 转换之前,建议 安装环境依赖,否则转模型到一半会报错,及其浪费时间。
git clone https://github.com/lm-sys/FastChat
cd FastChat
# 查看tag
git tag
# 切换到最新的tag分支
git checkout v0.2.3
# 安装
pip install e .
# 安装其他依赖
pip install transformers[sentencepiece]
# 注意,这里,需要安装transforms 环境。国内 镜像源更新不及时,请使用原版pip源,或者直接从项目安装
其他依赖:如果出现timeout,可以使用魔法,或者版本不要求最新时,使用国内源
python src/transformers/models/llama/convert_llama_weights_to_hf.py \
--input_dir /path/to/downloaded/llama/weights --model_size 7B --output_dir /output/path
报错解决:
ValueError: Couldn't instantiate the backend tokenizer from one of:
https://stackoverflow.com/questions/65431837/transformers-v4-x-convert-slow-tokenizer-to-fast-tokenizer
pip install transformers[sentencepiece]
注意替换上面的地址为你的文件系统的真实地址。
转换完成后,可以通过以下方式加载模型和分词器:
from transformers import LlamaForCausalLM, LlamaTokenizer
tokenizer = LlamaTokenizer.from_pretrained("/output/path")
model = LlamaForCausalLM.from_pretrained("/output/path")
当这两个权重准备好后,我们可以使用Vicuna团队的工具来创建真正的工作权重。首先,安装与v0 Vicuna兼容的库:
pip install git+https://github.com/huggingface/[email protected]
然后,运行以下命令以创建最终的工作权重:
python -m fastchat.model.apply_delta --base /path/to/llama-13b-hf/ --target /path/to/save/working/vicuna/weight/ --delta /path/to/vicuna-13b-delta-v0/
报错解决:
ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported.
修改 llama-13b-hf/tokenizer_config.json/ 的 "tokenizer_class": "LLaMATokenizer" =>
"tokenizer_class": "LlamaTokenizer"
killed
转换13B需要 80G左右内存,通常的家用电脑无法承载。可以考虑开启swap
参考:https://www.cnblogs.com/erlou96/p/14578820.html#_label3_0
https://timberkito.com/?p=98
RuntimeError: The size of tensor a (32000) must match the size of tensor b (32001) at non-singleton dimension 0
参考:https://github.com/lm-sys/FastChat/issues/486
现在,您可以准备好使用Vicuna权重了!
最终得到的权重文件应该放在一个文件夹内,具有以下结构:
vicuna_weights
├── config.json
├── generation_config.json
├── pytorch_model.bin.index.json
├── pytorch_model-00001-of-00003.bin
...
然后,在模型配置文件here的第16行设定vicuna权重的路径。
3. 准备预训练的MiniGPT-4检查点
根据您准备的Vicuna模型下载预训练检查点。
Checkpoint Aligned with Vicuna 13B | Checkpoint Aligned with Vicuna 7B |
---|---|
下载 | 下载 |
然后,在评估配置文件minigpt4_eval.yaml的第11行中设置预训练检查点的路径。
通过运行以下命令在本地机器上试用我们的演示demo.py:
python demo.py --cfg-path eval_configs/minigpt4_eval.yaml --gpu-id 0
为了节省GPU内存,Vicuna默认为8位加载,搜索宽度为1。
该配置需要大约23G的GPU内存用于Vicuna 13B和11.5G的GPU内存用于Vicuna 7B。
对于更强大的GPU,您可以在配置文件minigpt4_eval.yaml中将low_resource设置为False并使用更大的搜索宽度以16位运行模型。
windows 部署遇到问题可以参考这个 issue Vision-CAIR/MiniGPT-4#28 实际上如果显存高,可以修改 minigpt4/models/mini_gpt4.py 92行 load_in_8bit=False 关闭8bit,这样就可以不安装这个包。
感谢@WangRongsheng,您也可以在Colab上运行我们的代码。
MiniGPT-4的训练包含两个对齐阶段。
1. 第一阶段预训练
在第一个预训练阶段中,使用来自Laion和CC数据集的图像文本对训练模型, 以对齐视觉和语言模型。要下载和准备数据集,请查看我们的第一阶段数据集准备说明。 在第一阶段之后,视觉特征被映射并可以被语言模型理解。 要启动第一阶段训练,请运行以下命令。在我们的实验中,我们使用了4个A100。 您可以在配置文件train_configs/minigpt4_stage1_pretrain.yaml中更改保存路径。
torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/minigpt4_stage1_pretrain.yaml
只有第一阶段训练的MiniGPT-4检查点可在此处下载 here。 与第二阶段之后的模型相比,此检查点经常生成不完整和重复的句子。
2. 第二阶段微调
在第二个阶段中,我们使用自己创建的小型高质量图像文本对数据集,并将其转换为对话格式,以进一步对齐MiniGPT-4。 要下载和准备我们的第二阶段数据集,请查看我们的第二阶段数据集准备说明。 要启动第二阶段对齐,请先在train_configs/minigpt4_stage2_finetune.yaml中指定第1阶段训练的检查点文件的路径。 您也可以在那里指定输出路径。 然后,运行以下命令。在我们的实验中,我们使用1个A100。
torchrun --nproc-per-node NUM_GPU train.py --cfg-path train_configs/minigpt4_stage2_finetune.yaml
经过第二阶段的对齐,MiniGPT-4能够以连贯且易于使用的方式讨论图像。
- BLIP2 :MiniGPT-4的模型架构遵循BLIP-2。如果您以前不知道它,请不要忘记检查这个伟大的开源工作!
- Lavis :这个存储库是基于Lavis构建的!
- Vicuna :只有13B个参数的Vicuna的神奇语言能力真是太棒了。它是开源的!
如果您在研究或应用中使用MiniGPT-4,请引用以下BibTeX:
@misc{zhu2022minigpt4,
title={MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models},
author={Deyao Zhu and Jun Chen and Xiaoqian Shen and xiang Li and Mohamed Elhoseiny},
year={2023},
}
目前群主部署了minigpt4 的在线版本,星球的朋友可以先体验,不想加星球的,可以晚一点白嫖~
群主会不定期发布 各类亮眼项目体验版本 供大家体验,星球主要沉淀一些商业AI最新讯息,帮助大家节约时间。欢迎各位读者老爷,漂亮姐姐给我的项目点赞!
关注公众号加群 | 知识星球 |
---|---|
![]() |
![]() |
此存储库采用BSD 3-Clause许可证。
许多代码基于Lavis,这里是BSD 3-Clause许可证here。
本项目 fork 自 https://github.com/Vision-CAIR/MiniGPT-4 大部分翻译来自 https://github.com/Vision-CAIR/MiniGPT-4