DeepSeek 开源周技术总览：FlashMLA、DeepEP、DeepGEMM 与 3FS
汇总 DeepSeek 开源周发布的五个基础设施项目：面向 Hopper 架构的 MLA 解码内核 FlashMLA、专家并行通信库 DeepEP、FP8 GEMM 库 DeepGEMM、双向流水线 DualPipe 与专家负载均衡 EPLB，以及高性能分布式文件系统 3FS。
DeepSeek 进化史：从 V1、V2、V3 到 R1 的技术路线全梳理
沿时间线梳理 DeepSeek 的技术演进：67B 基座 V1 的预训练与对齐、引入 MLA 与 MoE 的 V2、采用 FP8 混合精度与无辅助损失负载均衡的 V3，以及以冷启动数据与强化学习锻造推理能力的 R1。
LLM 参数量、计算量与显存占用分析：从 Decoder-Only 结构出发
以 GPT 系列 decoder-only 架构为例，系统推导大语言模型的参数量、训练与推理计算量（FLOPs）以及显存占用，覆盖 Self-attention 与 MLP 的计算量估算及中间激活带来的显存开销。
从 MHA、MQA、GQA 到 MLA：注意力机制的 KV Cache 演进
系统梳理注意力机制为压缩 KV 缓存所做的演进：从多头注意力 MHA 出发分析其显存瓶颈，依次推导多查询注意力 MQA、分组查询注意力 GQA，直至用低秩键值联合压缩的多头潜在注意力 MLA 及其数学形式。
DeepSeek-V3 技术报告解读：FP8 训练、DualPipe 与 MoE 负载均衡
解读 DeepSeek-V3 如何用 14.8T 高质量 token、FP8 低精度训练、DualPipe 双向流水线与 MoE 负载均衡，在压低训练与推理成本的同时把开源模型的效果推到新高度。
高性能 GPU 服务器硬件拓扑与集群组网详解
详解大模型训练集群的硬件拓扑：8 卡 GPU 主机内 CPU、内存、NVMe 与 GPU 如何通过 PCIe 总线和交换芯片互联，NVLink 各代的演进与监控方式，以及 NVSwitch 与 NVLink Switch 在整机与跨机互联中的作用。
GPU 通信技术详解：GPUDirect、NVLink、NVSwitch 与 RDMA
梳理多卡训练需要的通信技术：单机多卡场景下 GPUDirect、GPUDirect Storage 与 P2P、NVLink 与 NVSwitch 让 GPU 绕过 CPU 直接互连，多机场景则依赖 RDMA 实现跨节点的高效数据传输。
Qwen2.5-7B-Instruct LoRA 微调实战：从数据构建到权重推理
以 Qwen2.5-7B-Instruct 为例走通 LoRA 微调全流程：环境准备与依赖安装、模型下载、指令集构建与数据格式化、加载半精度模型与 tokenizer、定义 LoraConfig 并用 Trainer 训练，最后加载 LoRA 权重推理。
LLM 推理框架运行时优化：CUDA Graph、分块预填充与投机解码
分析主流 LLM 推理框架的运行时开销来源（Python GIL 与多进程通信），并梳理 CUDA Graph、多步调度、Chunked Prefill、投机解码、基于哈希的自动前缀缓存与 vLLM Engine V2 等优化手段。
混合专家模型 MoE 详解：稀疏性、负载均衡与 Transformer 结合
系统讲解混合专家模型：从 MoE 的发展简史说起，解释条件计算带来的稀疏性、token 级负载均衡的必要性，再讲 MoE 层如何嵌入 Transformer，以及 Switch Transformers 等代表性工作与显存代价。
NVIDIA A100 GPU 服务器配置详解与三代显卡对比
整理 NVIDIA A100 GPU 服务器的详细规格：7nm 工艺 542 亿晶体管、6912 个核心、40GB 或 80GB HBM2 显存与近 1.6TB/s 带宽、NVLink 600GB/s 互联、最多切分为 7 个 MIG 实例，并对比 V100 与 H100。
Hunyuan-Large 模型解读：3890 亿参数的开源 MoE 与 KV 缓存压缩
解读腾讯混元 Large：当时规模最大的开源 Transformer 混合专家模型，总参数 3890 亿、激活 520 亿，支持 256K 上下文，主要贡献包括大规模数据合成、混合专家路由策略、KV 缓存压缩与专家特定学习率策略。