梳理大语言模型的三类压缩方法：通过降低权重精度减小体积的量化（含训练后量化 PTQ 与量化感知训练 QAT）、用大模型教小模型的知识蒸馏，以及裁剪冗余连接的剪枝，并比较各自的效果与代价。
模型压缩方法包括：（a）剪枝、（b）量化和（c）知识蒸馏。
量化
模型量化是一种用于减小大型神经网络（包括大语言模型LLM）大小的技术，通过修改其权重的精度来实现。大语言模型的量化之所以可行，是因为实证结果表明，虽然神经网络训练和推理的某些操作必须使用高精度，但在某些情况下，可以使用低得多的精度（例如float16），这可以减小模型的整体大小，使其能够在性能和准确性可接受的情况下，在性能较弱的硬件上运行。
大语言模型量化的类型：获得量化模型的技术可以分为两类。
- 训练后量化（PTQ）：将已经训练好的模型的权重转换为较低精度，而无需任何重新训练。虽然这种方法简单直接且易于实现，但由于权重值精度的损失，可能会使模型性能略有下降。
- 量化感知训练（QAT）：与PTQ不同，QAT在训练阶段就整合了权重转换过程。这通常会带来更好的模型性能，但计算要求更高。一种常用的QAT技术是QLoRA。
量化技术
- GPTQ：有一些实现选项，如AutoGPTQ、ExLlama和GPTQ - for - LLaMa，这种方法主要侧重于GPU执行。
- NF4：在bitsandbytes库中实现，它与Hugging Face的transformers库紧密合作。它主要被QLoRA方法使用，以4位精度加载模型进行微调。
- GGML：这个C库与llama.cpp库紧密合作。它为大语言模型提供了一种独特的二进制格式，允许快速加载和易于读取。值得注意的是，它最近转换为GGUF格式，以确保未来的可扩展性和兼容性。
许多量化库支持多种不同的量化策略（例如4位、5位和8位量化），每种策略在效率和性能之间都提供了不同的权衡。
蒸馏
知识蒸馏（KD; Hinton等人，2015年；Gou等人，2020年）Distilling the Knowledge in a Neural Network是一种构建更小、成本更低模型（“学生模型”）的直接方法，通过将预训练的高成本模型（“教师模型”）的能力转移到学生模型中，来加快推理速度。除了要求学生模型的输出空间与教师模型匹配，以便构建合适的学习目标之外，对学生模型的架构构建方式并没有太多限制。
教师模型已经在训练数据上进行了微调，因此，其概率分布可能与真实数据非常接近，并且在生成的token上不会有太多变化。
当温度>1时，概率分布会变得更宽泛。
- T > 1时 => 教师模型的输出 -> 软标签 学生模型的输出 -> 软预测
- T = 1时 => 教师模型的输出 -> 硬标签 学生模型的输出 -> 硬预测
蒸馏对于生成式解码器模型的效果并不显著，它对仅编码器模型（如BERT）更为有效，因为这类模型存在大量的表示冗余。
剪枝
网络剪枝是指在保持模型能力的同时，通过修剪不重要的模型权重或连接来减小模型大小。这一过程可能需要也可能不需要重新训练。剪枝可分为非结构化剪枝和结构化剪枝。
非结构化剪枝允许删除任何权重或连接，因此不会保留原始网络架构。非结构化剪枝通常与现代硬件的适配性不佳，并且无法真正加快推理速度。
结构化剪枝旨在保持矩阵乘法中部分元素为零的密集形式。为了适配硬件内核的支持，它们可能需要遵循特定的模式限制。这里我们主要关注结构化剪枝，以在Transformer模型中实现高稀疏性。
构建剪枝网络的常规工作流程包含三个步骤：
- 训练一个密集网络直至收敛；
- 对网络进行剪枝，去除不需要的结构；
- 可选步骤，重新训练网络，通过新的权重恢复模型性能 。
通过网络剪枝在密集模型中发现稀疏结构，同时使稀疏网络仍能保持相似性能，这一想法的灵感来源于彩票假设（LTH）：一个随机初始化的、密集的前馈网络包含多个子网络，其中只有一部分（稀疏网络）是 “中奖彩票”，当单独训练时，这些子网络能够达到最佳性能。
