AI 大模型研发与应用

讲解稀疏 MoE 架构的分布式训练：把大模型拆成多个专家并由门控网络按样本激活部分专家以节省算力，以及 MoE 与数据并行、模型并行的组合方式和 GShard、Switch-Transformer 等工业界方案。

系统梳理大模型分布式训练的八类并行技术：数据并行、流水线并行、张量并行、序列并行、多维混合并行、自动并行、MoE 并行与优化器相关并行，并给出不同模型规模下的并行策略选择建议。

以问答形式梳理 RLHF 的核心问题：强化学习与有监督学习的区别、RLHF 完整流程、奖励模型是否需与基座一致，以及偏好数据成本高、三阶段迭代慢、PPO 四模型显存开销大等实践痛点与应对思路。

讲解自动并行这一分布式训练的终极目标：给定模型与机器资源后自动选择较优的并行策略，区分半自动的 Mesh-TensorFlow、GShard、GSPMD 与全自动的 FlexFlow、Alpa 等方案及其切分表达方式。

讲解如何把数据并行、流水线并行与张量并行组合起来：从 DP 与 PP 的设备映射、至少需要 8 卡的 3D 并行，到结合 ZeRO 的混合方案，并梳理 CodeGeeX、GPT-NeoX 与 GLM-130B 的并行策略。

从 seq2seq、文本生成机制、自回归与隐变量自回归模型讲到编码器-解码器结构，梳理在 CNN 与 RNN 方案之后为什么还需要注意力机制，为后续逐层拆解 Transformer 打下背景基础。

讲解流水线并行如何把模型不同层放置到不同设备以解决单卡放不下整个模型的问题：从朴素流水线的气泡问题、微批次切分到 GPipe 的实现，并对比层间并行与层内张量并行的差异。

讲解张量并行的原理与实现：把线性层的权重矩阵按行或按列切分到不同 GPU 上分别计算再合并、非线性层不做额外设计，并延伸到 2D 张量并行等多维切分方式。

讲解 Colossal-AI 提出的序列并行：针对自注意力显存随序列长度平方增长的问题切分序列维度，并给出在 PyTorch 中通过设备网格创建分片计划、并行化模块与执行前向反向的完整代码示例。

概览大模型分布式训练的主要并行方式：沿批次维度切分的数据并行、按层或按张量拆分模型的模型并行、张量并行与流水线并行的区别、优化器相关并行、异构系统并行，以及多维混合并行与自动并行。

讲解数据并行的演进：把数据集切分到多个 GPU、各自持有完整模型副本并聚合梯度，对比 PyTorch 的 DataParallel、DistributedDataParallel 与 FullyShardedDataParallel 的差异，并说明 ZeRO 如何消除显存冗余。

讲解 PD 分离（预填充与解码解耦）推理架构：把两个阶段拆到不同实例分别优化以提升 GPU 利用率，并围绕 KV Cache 是否直连传输、是否按层收发、首 token 处理与 KV Cache 存储池设计等关键问题展开分析。