解读美团 LongCat-Flash-Thinking 的推理能力训练方案：把 STEM、代码与智能体领域拆开并行做强化学习再融合为帕累托最优模型，并用工业级异步 rollout 框架 DORA 取得三倍以上的训练加速。
LongCat-Flash-Thinking —技术报告摘要
论文：Introducing LongCat-Flash-Thinking: A Technical Report (arXiv:2509.18883)
团队：Meituan LongCat Team
发布时间：2025.09
页数：24页
1. 预训练 Recipe
训练策略
| 项目 | 详情 |
|---|---|
| 基座 | LongCat-Flash-Base（560B MoE） |
| Mid-training | 在base上注入reasoning-intensive data（数学/物理/化学竞赛题 + 算法编程题），调整data mixing ratio保持通用能力 |
| 关键发现 | Reasoning-intensive data比例越高，pass@1→pass@128全面提升（AIME-24 +27.7%，LCB +6.5%） |
| 数据质量 | Hybrid heuristic rules + LLM-as-a-Judge过滤/去重/去污染 |
2. 后训练 Recipe (SFT)
Reasoning-Oriented SFT
| 项目 | 详情 |
|---|---|
| 目标 | 对齐instruction-following +增强specialized reasoning capabilities |
| 作为cold-start | 为后续RL提供基础policy |
| 数据 | Reasoning-intensive + agentic data |
3.RL Recipe
训练策略
| 项目 | 详情 |
|---|---|
| 核心Pipeline | Mid-training → Reasoning-Oriented SFT → Domain-Parallel RL → Expert Fusion → General RL |
| 算法 | 改进的GRPO，适配异步RL训练的稳定性 |
| 核心创新: Domain-Parallel Training | 解耦多域优化：同时训练STEM Expert / Code Expert / Agentic Expert（各自独立RL），然后fuse为单一near Pareto-optimal model |
| Domain类别 | STEM RL、Code RL、Agentic RL、General RL |
| Fusion后 | General RL stage进一步refine：robustness, safety, human alignment |
| 解决的问题 | 传统mixed-domain RL不稳定；domain-parallel解耦后稳定性显著提升 |
DORA (Dynamic Orchestration for Asynchronous Rollout)
| 项目 | 详情 |
|---|---|
| 核心 | Industrial-scale异步RL框架 |
| 加速 | >3× speedup vs synchronous frameworks |
| 规模 | Tens of thousands of accelerators |
| 特点 | 支持massive RL investment稳定运行 |
###效率亮点
| 项目 | 详情 |
|---|---|
| Token效率 | AIME-25平均token消耗从19,653降至6,965（-64.5%），准确率不降 |
| 意义 | 高效agentic reasoning：更少思考步骤达到同等效果 |
4. 关键亮点
- Domain-Parallel RL Training + Fusion：STEM/Code/Agentic独立训练→fusion为Pareto-optimal模型，解决mixed-domain RL不稳定
- DORA：Industrial-scale异步RL框架，>3×加速，万卡级训练
- Mid-training Reasoning Enhancement：预训练后注入竞赛题数据显著提升reasoning boundary
- Token效率提升64.5%：减少思考长度同时维持accuracy
- Open-source reasoning model SOTA：超DeepSeek-V3.2-Thinking, Qwen3.5-Thinking等
