跳到正文
孔明の博客
AI 大模型研发与应用
Home
Archives
Search
输入搜索关键词
Great! 184 posts in total. Keep on posting.
2025
04-28
分布式训练并行策略总览：从数据并行到自动并行
04-28
人类对齐与强化学习—RLHF 核心问题梳理与实践难点
04-27
自动并行详解：从 Mesh-TensorFlow 到 GSPMD
04-27
多维混合并行详解：DP、PP、TP 的组合与业界实践
04-25
探秘 Transformer 之（1）：注意力机制的背景与演化动机
04-25
流水线并行详解：微批次切分与 GPipe 实现原理
04-25
张量并行详解：层内切分的行并行与列并行
04-25
序列并行详解：突破长序列训练的显存瓶颈
04-23
分布式训练概述：八类并行技术的全景图
04-23
数据并行详解：从 PyTorch DP、DDP 到 FSDP 与 ZeRO
04-23
PD 分离架构详解：预填充与解码解耦的工程权衡
04-22
Agent 设计模式—设计范式与常见框架：从 Reflection 到多智能体协作
1
…
7
8
9
…
16
0
%