开源双语对话语言模型 ChatGLM-6B 本地私有化部署

本文首发于：https://www.licorne.ink/2023/08/llm-chatglm-6b-local-deploy/

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。ChatGLM-6B 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

其中一个比较关键的点是：消费级的显卡即可进行私有化部署，下文将着重介绍部署的相关步骤。

建议硬件配置：
不过该模型也可在无GPU的情况下部署，但是推理速度会更慢，最低需要32G内存。

一、克隆仓库

本地部署的话实际需要用到两个仓库，一个是源码仓，一个是模型仓。在操作之前请确认Git已正确安装并启用了LFS。

源码仓库：https://github.com/THUDM/ChatGLM-6B

模型仓库：https://huggingface.co/THUDM/chatglm-6b

使用 git clone 命令克隆至本地即可，由于仓库的默认名称一致，建议在克隆一个仓库后改名再继续克隆另一个仓库。模型仓库体积较大，