繁體中文大型語言模型 by **研究院詞庫小組

CKIP-Llama-2-7b 是**研究院詞庫小組(CKIP)開發的開源可商用繁體中文大型語言模型（large language model），以商用開源模型Llama-2-7b以及Atom-7b為基礎，再補強繁體中文的處理能力，並對405個可商用的任務檔案同步進行訓練優化，參數量達70億(7 billion)。提供大眾下載，作為學術使用或是商業使用，可應用於文案生成、文學創作、問答系統、客服系統、語言翻譯、文字編修、華語教學等。也可以使用自己的訓練資料集進行訓練，快速構建出一個可以滿足自身任務需求的模型。模型僅需一張 12G 記憶體容量的GPU即可佈屬。

您可以在此連結測試多任務微調訓練後的 CKIP-Llama-2-7b-chat模型。

Wei-Yun Ma (馬偉雲) at CKIP

• Email: [email protected]

Yu-Hung Wu (吳昱宏) at CKIP

• Email: [email protected]

Nai-Chi Yang (楊奈其) at CKIP

• Email: [email protected]

Chin-Tung Lin (林鑫彤) at CKIP

• Email: [email protected]

1. 在多個繁體中文任務上表現優異：我們以商用開源模型Llama-2-7b以及Atom-7b為基礎，再補強繁體中文的處理能力，並對405個可商用的任務檔案同步進行訓練優化，在量化的評估指標上均有優異成績。

2. 可以針對自身任務進行訓練：可以使用自己的訓練資料集接續進行訓練，能夠快速地構建出一個可以滿足自身任務需求的模型。

3. 模型可以輕鬆佈署：模型僅需一張 12G 記憶體容量的GPU即可佈屬。

4. 模型可商用：Meta所釋出的Llama-2-7b模型具有開源可商用的特色，以其基礎進行後續加強簡體中文能力的Atom-7b亦以可商用的授權對外開源，我們承襲Llama-2-7b以及Atom-7b，再補強繁體中文的處理能力，訓練出CKIP-Llama-2-7b，亦以可商用的授權對外開源。

我們有兩個模型，一個是繁體中文預訓練後的 CKIP-Llama-2-7b，一個是以前者為基礎，繼續多任務微調訓練後的 CKIP-Llama-2-7b-chat

CKIP-Llama-2-7b的資料分成兩個：預訓練資料 和 多任務微調資料

• 我們使用 OpenAI tiktoken tokenizer 來計算資料集的 token 數量，避免各個模型詞表不同造成的誤差。 訓練使用 CKIP-Llama-2-7b tokenizer 計算的結果可以參照此表。

為了達到可商用目的，我們的多任務微調資料避免使用alpaca及vicuna等經由OpenAI產品生成的資料集，而取自於純人工產生的COIG-PC資料集和dolly資料集，分別經過如下操作：

• COIG-PC 資料集：COIG-PC資料集當中有為每一個任務檔案註明是否可以商用，我們從中挑選出405個可商用的任務檔案，再從其中隨機抽取出我們的任務微調資料集。
• dolly-15k 資料集：dolly-15k資料集整體均為為可商用資料集。我們將已經轉成簡體中文的 Dolly dataset 處理成 BELLE 訓練格式並經過 OpenCC 轉成繁體中文

C-Eval 是一個涵蓋四大領域共52個學科的中文模型評測數據集。我們使用 OpenCC 將原始數據集轉成繁體中文後進行測試。測試使用該數據集的dev作為 5-shot 來源，下表是在val集上進行測試的結果。

1. 下載C-Eval數據集並轉換成繁體中文，放在 evaluation 資料夾下

   .
   ├── evaluation/
   │   ├── ceval-exam/
   │   │   ├── dev/
   │   │   ├── val/
   │   │   └── test/
   │   └── evaluate_tw.py

2. 填入模型名和路徑後執行下列命令測試於單顆GPU上。 evaluate_tw.py 檔案修改於 evaluate_zh.py，我們將程式中的prompt字串也轉換成繁體中文

   MODEL="YOUR_MODEL_NAME"
   MODEL_PATH="YOUR_MODEL_PATH"
   SPLIT="val"
   
   for i in {1..5}; do
     OUT="${MODEL}/run${i}"
     mkdir -p "$OUT"
     echo "It will write the evaluation results to $OUT"
     python evaluate_tw.py --model_name_or_path $MODEL_PATH --split $SPLIT --output_dir $OUT
   done

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_name_or_path = 'ckiplab/CKIP-Llama-2-7b-chat'
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)

# int8
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, device_map='auto', torch_dtype=torch.float16, load_in_8bit=True)
# fp16
# model = AutoModelForCausalLM.from_pretrained(model_name_or_path, device_map='auto', torch_dtype=torch.float16)
# fp32
# model = AutoModelForCausalLM.from_pretrained(model_name_or_path, device_map='auto')

sampling_strategy = {'max_new_tokens': 50,
                     'top_p': 0.95}

prompt_template = "Human: \n{}\n\nAssistant: \n"
prompt = prompt_template.format('台灣最高的山？')
inputs = tokenizer(prompt, return_tensors='pt').to(model.device)

output = model.generate(input_ids=inputs.input_ids, **sampling_strategy)

print( tokenizer.batch_decode(output) )

我們的模型訓練在4顆A100的機器上，環境使用 python 3.8 和 CUDA 11.8 。

您可以輕鬆用您自己的資料集來訓練，一般來說，不需要再進行預訓練步驟，只要將您的任務進行任務微調訓練即可。您可以使用 CKIP-Llama-2-7b 或 CKIP-Llama-2-7b-chat 作為訓練的起始模型。

系統需求：

• Python 3.8 and above.
• CUDA 11.6 and above.
• PyTorch 2.0.0 and above.
  • 請先至PyTorch官方網站根據您的系統環境安裝對應的PyTorch版本。
• Linux only.

pip install -U pip
git clone --recursive https://github.com/ckiplab/CKIP-Llama-2-7b.git
cd CKIP-Llama-2-7b
pip install -r requirements.txt

準備 jsonl 格式資料集

{"id": "dolly0", "conversations": [{"from": "human", "value": "維珍澳大利亞航空（Virgin Australia Airlines Pty Ltd 的商業名稱）是一家總部位於澳大利亞的航空公司。它是機隊規模最大的使用維珍品牌的航空公司。它於 2000 年 8 月 31 日以 Virgin Blue 名義開始運營，在一條航線上有兩架飛機。 2001 年 9 月安捷澳大利亞公司倒閉後，它突然發現自己成爲澳大利亞國內市場的一家主要航空公司。此後，該航空公司已發展到以布里斯班、墨爾本和悉尼爲樞紐，直接爲澳大利亞 32 個城市提供服務。 維珍澳大利亞航空什麼時候開始運營？"}, {"from": "assistant", "value": "維珍澳大利亞航空於 2000 年 8 月 31 日以 Virgin Blue 名義開始運營，在一條航線上有兩架飛機。"}]}
{"id": "dolly1", "conversations": [{"from": "human", "value": "魚是哪一個品種？頂部或繩索"}, {"from": "assistant", "value": "託普"}]}
{"id": "dolly2", "conversations": [{"from": "human", "value": "駱駝爲什麼能在沒有水的情況下生存很長時間？"}, {"from": "assistant", "value": "駱駝利用駝峯中的脂肪來長時間保持能量充足和水分充足。"}]}

run_sft_CKIP-LLaMA.sh 填入參數

output_dir=... # output file
train_file=... # training file
validation_file=... # training file
export BELLE_DIR=... # absolute path of BELLE

bash run_sft_CKIP-LLaMA.sh

@misc{CKIP-Llama-2-7b,
    author={Wei-Yun Ma, Yu-Hung Wu, Nai-Chi Yang, Chin-Tung Lin}
    title={Optimize Llama-2 to Better Support Traditional Chinese},
    year={2023},
    url={https://github.com/ckiplab/CKIP-Llama-2-7b},   
}