LLM的想象空间进一步扩大，Alpaca-LoRA帮你训练自己的中文ChatGPT

LLM 这两周不断带给我们震撼与惊喜。GPT-4 的发布让大家对 LLM 的想象空间进一步扩大，而这些想象在本周眼花缭乱的 LLM 应用发布中逐渐成为现实。本文将介绍如何基于 Alpaca-LoRA 训练自己的中文聊天机器人（ChatGPT），以及如何利用 Quantization 等工具加速推理。

目前，Stanford 基于 LLaMA 的 Alpaca 已经开源并且在 GitHub 上提供了详细的使用说明。对于 Alpaca-LoRA 的相关信息，您可以通过阅读[这篇文章](https://mp.weixin.qq.com/s/T2LJGmrWjGZq8whkRb31Vg)来了解更多。

![微信图片_20230609144334.png](https://blog.zg4007.com/usr/uploads/2023/06/489822036.png)

## Alpaca-LoRA帮你训练中文ChatGPT
在众多的 LLM 应用中，我们很关注 Stanford 基于 LLaMA 的 Alpaca 和随后出现的 LoRA 版本 Alpaca-LoRA。因为 Alpaca 宣称只需要不到 600 美元的成本（包括创建数据集），便可以让 LLaMA 7B 达到接近 text-davinci-003 的效果。而 Alpaca-LoRA 则在此基础上，让我们能够以一块消费级显卡，在几小时内完成 7B 模型的 fine-turning。

为了训练自己的 ChatGPT，我们需要依次进行以下步骤：

### 准备数据集
fine-tune 的目标通常有两种：像 Alpaca 一样，收集 input/output 生成 prompt 用于训练，让模型完成特定任务；或者语言填充，收集文本用于训练，让模型补全 prompt。以第一种目标为例，假设我们的目标是让模型讲中文，那么，我们可以通过其他 LLM （如 text-davinci-003）把一个现有数据集（如 Alpaca）翻译为中文来做 fine-tune。

### 训练并 apply LoRA
在准备好的数据集上进行 fine-tune。

### 合并模型（可选）
合并 LoRA 与 base 可以加速推理，并帮助我们后续 Quantization 模型。

### Quantization（可选）
Quantization 可以帮助我们加速模型推理，并减少推理所需内存。这方面也有开源的工具可以直接使用。

实践中，为了让模型讲中文，我们使用的数据集是 Luotuo 作者翻译的 Alpaca 数据集，并利用 Alpaca-LoRA 进行 fine-tune。具体操作如下：

1. 克隆 Alpaca-LoRA 和下载数据集：
```bash
git clone git@github.com:tloen/alpaca-lora.git
wget https://github.com/LC1332/Chinese-alpaca-lora/blob/main/data/trans_chinese_alpaca_data.json
```
2. 构建虚拟环境并安装依赖：
```bash
conda create -n alpaca python=3.9
conda activate alpaca
cd alpaca-lora
pip install -r requirements.txt
```
3. 运行训练：
```bash
python finetune.py --base_model 'decapoda-research/llama-7b-hf' \
--data_path '/path/to/trans_chinese_alpaca_data.json' \
--output_dir './lora-alpaca-zh'
```
4. 运行推理：
```bash 
python generate.py --base_model "decapoda-research/llama-7b-hf" \
--lora_weights './lora-alpaca-zh' \
--load_8bit
```

## 加速推理
为了进一步提升推理效率，Alpaca-LoRA 还提供了一些脚本，如 export_hf_checkpoint.py 来合并模型，并通过 [llamap.cpp](https://github.com/cortexlabs/cortex/tree/master/examples/gpt-3) 等项目来达到更好的推理性能。同时，您也可以使用 Quantization 工具来减少模型推理所需内存。

## 结语
在本文中，我们介绍了如何使用 Alpaca-LoRA 训练自己的 ChatGPT，并通过 Quantization 等工具加速推理。虽然 LLaMA 7B 展现出的能力还比较有限，但我们期待后面开源社区进一步的工作。