本地部署chatglm-6b

chatglm-6b

清华chatglm-6b是一个60亿参数的开源双语对话语言模型，我认为它的语言表达能力不输chatgpt3.5 以下是它自述。

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答

相较于chatgpt的限制，它可以本地化部署，实为一大优势。本文记录了本地化部署chatglm-6b 主要分为：

1. 下载
2. 修改代码
3. 运行

下载

从github下载项目代码

git clone https://github.com/THUDM/ChatGLM-6B.git

下载模型。下载模型有两种方法，一种是自动下载，一种是手工下载。

#自动下载, 直接运行demo，就会下载了
python web_demo.py

下载后，模型位于 $user/.cache/huggingface/hub/models--THUDM--chatglm-6b/snapshots/$model_hash_code，将模型拷至自己的目录。

另一种方式是手工下载，即手工去huggingface上下载，具体的地址请见项目主页。

修改代码

修改web_demo.py，按下图修改路径，注意，路径必须这么写，否则会报错。

由于我显卡显存不足，因此我使用int4量化方式，即使用了"quantize(4)"，正常如果是fp16按说明是不用写的，如果是int8，则参数由4改为8

运行代码

python web_demo.py

之后会自己打开127.0.0.1:7860

效果