ChatGLM-6B 与 ChatGLM2-6B 梳理：中英双语对话模型与本地部署

梳理 ChatGLM-6B 与 ChatGLM2-6B：基于 GLM 架构的 62 亿参数中英双语对话模型，经约 1T token 训练并结合监督微调与人类反馈强化学习，INT4 量化后最低 6GB 显存即可在消费级显卡部署，并给出代码调用与 API 部署方式。 **| **[**Blog**](https://chatglm.cn/blog)** |  **[**HF Repo**](https://huggingface.co/THUDM/chatglm-6b)** | **[**GitHub**](https://github.com/THUDM/ChatGLM-6B)** | **[**Paper**](https://arxiv.org/abs/2103.10360)** |** ## ChatGLM-6B ### 简介 ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 [General Language Model (GLM)](https://github.com/THUDM/GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。 ### **技术细节** **GLM预训练框架特点**： 1、自编码思想：在输入文本中，随机删除连续的tokens。 2、自回归思想：顺序重建连续tokens。在使用自回归方式预测缺失tokens时，模型既可以访问corrupted文本，又可以访问之前已经被预测的spans。 3、span shuffling + 二维位置编码技术。 4、通过改变缺失spans的数量和长度，自回归空格填充目标可以为条件生成以及无条件生成任务预训练语言模型。 **自回归空格填充任务** 给定一个输入文本$𝑥=[𝑥_1,...,𝑥_𝑛]$，可以采样得到多个文本$spans\{𝑠_1,...,𝑠_𝑚\}$。为了充分捕捉各 spans 之间的相互依赖关系，可以对 spans 的顺序进行随机排列，得到所有可能的排列集合$𝑍_𝑚$，其中：$𝑆_{𝑧