解读 NVIDIA Nemotron 3 Ultra：用 550B 参数与 20T token 验证 NVFP4 在极限规模下的训练稳定性，并通过多教师在线策略蒸馏 MOPD 把多个专用教师模型的能力压缩进单一学生模型。
Nemotron 3 Ultra —技术报告摘要
论文：Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning (arXiv:2606.15007)
团队：NVIDIA
发布时间：2026.06
页数：65页
1. 预训练 Recipe
训练策略
| 项目 | 详情 |
|---|---|
| 模型架构 | Hybrid Mamba-Attention MoE，550B总参/ 55B激活 |
| 层数 | 108层，周期性Mamba-2+LatentMoE交错，少量Attention anchor |
| Model Dimension | 8192 |
| 注意力 | GQA：64Q-heads,2KV-heads, head dim128 |
| Mamba-2 | State dim128, 8 groups, 256 heads, head dim64 |
| LatentMoE | 512total experts/layer, top-22 activated, latent size 2048, expert hidden5120, shared expert10240 |
| MTP | 2层shared-weight MTP，每层=1个attention layer+1个MoE layer；用于speculative decoding |
| 训练精度 | NVFP4（目前最大规模NVFP4训练展示） |
| 高精度保留 | 最后15%网络(16层)+Mamba output+Latent projections+QKV+MTP+Embedding保持BF16/MXFP8 |
| LR schedule | Warmup-Stable-Decay |
| 上下文 | 1M tokens |
训练数据
| 项目 | 详情 |
|---|---|
| 总量 | 20T tokens，分两阶段 |
| Phase 1（15T） | 多样性和广泛领域覆盖 |
| Phase 2（5T） | 高质量数据精炼accuracy |
| 合成数据（全部开源） | Benchmark-oriented synthetic, fact-seeking (from FineWiki), moral scenarios, legal (California Code/NYCourts/eCFR/Case Law), 多种领域 |
| 训练健康监控 | 5T/10T/16T checkpoints分支BF16 ablation 74B tokens，确认NVFP4无质量损失 |
Infra设计
| 项目 | 详情 |
|---|---|
| 继承Nemotron 3 Super | NVFP4 GEMMs via Transformer Engine + cuBLAS |
| 到date最大规模NVFP4训练 | 550B参数×20T tokens |
2. 后训练 Recipe (SFT)
训练策略
| 项目 | 详情 |
|---|---|
| 两阶段SFT | Stage1: packed294,912 tokens, batch64, 204,800 samples, peak lr 1.5e-5 → Stage2: packed 515,000 tokens, 长上下文数据到512K, 19,200 samples, peak lr 1e-5 |
| MTP保留 | SFT时保持shared-weight MTP objective（2层，aux-loss scale0.1） |
| 数据覆盖 | Long-context, math/proof (1.8M tool-calling + 1.9M non-tool), science (web-search + Python traces), chat (multi-turn from GLM-5), agentic CLI, SWE, CUDA |
| Agentic数据 | 含terminal-use, web browsing, code SWE, tool-calling等 |
3. RL Recipe
训练策略
| 项目 | 详情 |
|---|---|
| Pipeline | SFT → RLVR → MOPD Warmup → MOPD (xN cycles) → MTP Boosting |
| RLVR | Unified verifiable-reward training：sharpens agentic, reasoning, chat, safety, instruction following, long-context |
| MOPD核心 | Multi-teacher On-Policy Distillation：多个specialized teacher模型提供token-level dense supervision |
| MOPD机制 | Student生成rollout →对应domain teacher对trajectory做token-level评分 → student学习teacher的preference |
| MOPD warmup | 一次性light SFT对齐student rollouts和teacher-supported分布 |
| MOPD迭代 | Asynchronous on-policy distillation，2轮迭代（MOPD1→MOPD2），显著提升agentic benchmarks |
| Recovery率 | Terminal Bench 172.7%, SWE-Bench 88.1%, TauBench 90.3%（接近甚至超越specialized teacher） |
| MOPD vs logit matching | Sampled-token objective一致优于full-distribution distillation（off-support states导致teacher logits poorly calibrated） |
| MTP Boosting | Head-only KL distillation：MTP draft heads向backbone logits对齐，提升speculative decoding acceptance率 |
| Reasoning budget control | 支持不同effort level |
Teacher模型训练
| 项目 | 详情 |
|---|---|
| 策略 | 每domain训练一个specialized teacher（从student SFT checkpoint初始化 + 额外SFT/RL） |
| General reasoning teacher | 额外大规模SFT + RL on DeepSeek-V4-Pro生成的reasoning mixture |
| Agentic teachers | 针对terminal/browsing/SWE等domain独立训练 |
4. 关键亮点
- 最大规模NVFP4预训练：550B参数×20T tokens，验证NVFP4在extreme scale下的稳定性
- MOPD（Multi-teacher On-Policy Distillation）：多specialized teacher→单一student，token-level dense supervision；多benchmarks上recovery >85%甚至超越teacher
- MTP Boosting：RL后通过KL distillation修复MTP heads，恢复speculative decoding质量
- 推理效率：vs GLM-5.1 5.9×，vs Kimi-K2.6 4.8×，vs Qwen3.5-397B 1.6×（8K/64K setting）
- 两阶段SFT + MTP auxiliary loss：保持长序列能力同时不损MTP
- MOPD局限性分析：对self-contained reasoning（如HLE）效果有限，因teacher优势来自off-policy数据exposure而非trajectory preference
