解读腾讯混元 TurboS 的两大创新：Mamba 与 Transformer 协同的混合架构，以及让单一模型自动选择长思考或短思考模式的自适应 CoT 融合方案，并梳理其后训练四大模块。
Hunyuan-TurboS技术报告摘要
论文：Hunyuan-TurboS: Advancing Large Language Models through Mamba-Transformer Synergy and Adaptive Chain-of-Thought
团队：Tencent Hunyuan Team
时间：2025.05/2025.07(arXiv:2505.15431)
页数：26页
1. 预训练 Recipe
训练策略
| 项目 | 详情 |
|---|---|
| 架构 | Hybrid Transformer-Mamba2MoE，560B总参/56B激活，128层 |
| 层组成 | 57Mamba2层+ 7 Attention层 + 64 FFN(MoE)层 |
| Block Pattern | “AMF”(Attention→Mamba2→FFN) + “MF”(Mamba2→FFN) 交替 |
| MoE | 32 specialized experts + 1 shared expert，激活1shared+2specialized/token |
| Attention | GQA (最小化KV cache) |
| Mamba2 | State-Space Model，线性复杂度处理长序列 |
| Token | 16T high-quality tokens |
| 上下文 | 256K |
| Tokenizer | 与Hunyuan-Large相同，128K词表 |
| 里程碑 | 首个工业部署的大规模Mamba模型 |
训练数据
| 项目 | 详情 |
|---|---|
| 总量 | 16T tokens |
| 相比Hunyuan-Large改进 | 三维度增强：quantity, quality, diversity |
| 数据Pipeline | URL-level dedup/filtering → block-level pruning（去噪内容）→ topic classification → content extraction → domain-specific extraction modules(STEM/code) → heuristic filtering → global semantic-level dedup |
| 质量保障 | 综合critique models + 数据mixture models（不同训练阶段提供不同mixture recipe） |
| 多样性 | dozens of well-organized domain type labels |
Infra设计
| 项目 | 详情 |
|---|---|
| RL框架 | Angel-RL：集成training和inference，支持TP/PP/EP/CP全面parallelism |
| Hybrid优化 | 针对TurboS hybrid架构实现三维度优化，实现相比Hunyuan-Large 1.8x加速 |
2. 后训练 Recipe（四模块）
Module 1: Supervised Fine-Tuning
| 项目 | 详情 |
|---|---|
| 数据量 | 3M instruction data (natural + synthetic) |
| 组织方式 | 按comprehensive topic taxonomy分类 |
| 质量控制 | multi-dimensional metrics for rigorous filtering |
Module 2: Adaptive Long-Short CoT Fusion（核心创新）
目的：单一模型自动选择long/short CoT模式
SFT Training流程：
- 先训练short CoT模型（Hunyuan-Base + reasoning data）
- 对所有reasoning data做inference + consistency check
- 如果short CoT正确→直接作为训练样本
- 如果short CoT错误→将问题+错误response喂给Hunyuan-T1继续生成扩展推理→转换为short CoT风格→重复直到获得正确答案
- 拼接所有失败尝试+最终正确response作为adaptive teacher的训练数据
- 用此数据训练Hunyuan-Base得到adaptive SFT model
RL for Adaptive Long-Short CoT：
① Difficulty-Adaptive Reward
- GRPO sampling生成不同reasoning深度的responses
- Online rejection sampling评估prompt difficulty
- 根据难度分配：complex→long CoT，simple→short CoT
② Long CoT Compression Reward
- 对长reasoning chain施加length penalty
- 多条等正确性的reasoning paths中，shorter traces获得higher reward
- 减少冗余同时保持准确性
Module 3: Multi-round Deliberation Learning
| 项目 | 详情 |
|---|---|
| 方法 | 迭代式改进（iterative improvement） |
| 具体机制 | 原文在此部分简略描述 |
Module 4: Two-Stage Large-Scale RL
| 项目 | 详情 |
|---|---|
| Stage 1 | STEM领域RL |
| Stage 2 | General instruction-following RL |
| 框架 | Angel-RL |
3. RL Recipe
训练策略
| 项目 | 详情 |
|---|---|
| 算法 | GRPO |
| 两阶段 | STEM RL → General RL |
| Adaptive Reward | Difficulty-adaptive + CoT compression reward |
| 框架 | Angel-RL (TP/PP/EP/CP) |
Infra：Angel-RL
| 项目 | 详情 |
|---|---|
| 特点 | 集成training和inference为一体 |
| 并行 | 全面parallelism (TP/PP/EP/CP) |
| 创新 | 针对hybrid Mamba-Transformer架构的专门优化 |
4. 关键亮点
- Hybrid Mamba2-Transformer-MoE：128层(57 Mamba + 7 Attention + 64 MoE FFN)，首个工业部署的大规模Mamba模型
- AMF/MF Block Pattern：Attention→Mamba2→FFN交替，平衡性能和效率
- Adaptive Long-Short CoT Fusion：单模型自动选择reasoning depth，simple问题快速回答，complex问题深度推理
- Difficulty-Adaptive + Compression Reward：RL中按难度分配CoT模式+长CoT压缩奖励
- 16T高质量tokens：完整数据pipeline from dedup to semantic filtering
- 256K上下文：Mamba2线性复杂度天然适合长序列
- LMSYS Arena Top7 (1356)：超过Gemini-2.0-Flash和o4-mini
- Angel-RL：支持TP/PP/EP/CP的integratedRL框架
