解读 NVIDIA Nemotron 3 Super 的三大技术点：在隐空间做专家路由、同时优化精度与 FLOPs 的 LatentMoE，首次大规模稳定训练到 25T token 的 NVFP4 预训练，以及以 Mamba-2 为主的混合 Mamba-Attention 加 MoE 架构。
Nemotron 3 Super —技术报告摘要
论文：Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
团队：NVIDIA
发布时间：2026.04
页数：51页
1. 预训练 Recipe
训练策略
| 项目 | 详情 |
|---|---|
| 模型架构 | Hybrid Mamba-Attention MoE，120B总参 / 12B激活 |
| 层数 | 88层，周期性交错模式（Mamba-2block +LatentMoE layer为主，少量全局Attention作为anchor） |
| 注意力 | GQA：32Q-heads, 2KV-heads, head dim128；无位置编码、dropout、bias |
| Mamba-2 | State dim 128, 8 groups, 128 heads, head dim 64 |
| LatentMoE | 512 total experts/layer, top-22 activated, latent size 1024, expert hidden2688, shared expert 5376 |
| LatentMoE核心设计 | 优化accuracy per FLOP 和 accuracy per parameter（考虑memory bandwidth/communication/sharding开销）；routed experts在compact latent space操作，shared experts走full-width path |
| MTP | 2层（shared weight），用于speculative decoding加速推理；平均acceptance length 3.33（vs Qwen3的2.70） |
| 训练精度 | NVFP4预训练（E2M1+ 16-element micro-blocks + E4M3 scaling）；最后15%层+QKV+Mamba output+MTP+Latent projections保持BF16/MXFP8 |
| 上下文 | 1M tokens |
| 训练Token数 | 25T（两阶段） |
| LR schedule | 原文未详述（继承Nemotron 3 Nano recipe） |
训练数据
| 项目 | 详情 |
|---|---|
| 总量 | 25T tokens，分两阶段 |
| Phase 1（80%，20T） | 多样性和广泛覆盖 |
| Phase 2（20%，5T） | 高质量数据+benchmark accuracy |
| 合成数据集（开源） | Nemotron-Pretraining-Specialized-v1.1：code concepts/algorithms, formal verification, college-level STEM reasoning, creative/factual long-form writing等 |
| 合成方法 | 用Qwen3-235B、DeepSeek-R1等生成+验证 |
Infra设计
| 项目 | 详情 |
|---|---|
| 训练精度 | NVFP4 GEMMs（fprop/dgrad/wgrad），Transformer Engine + cuBLAS后端 |
| 量化方案 | 2D block scaling（weights），1D block scaling（gradients/activations），Random Hadamard Transforms + stochastic rounding |
| 大规模稳定性 | 25T tokens稳定训练无发散；监控zero-valued gradient元素比例确认训练健康 |
2. 后训练 Recipe (SFT)
训练策略
| 项目 | 详情 |
|---|---|
| 两阶段SFT | Stage 1: token-level global average loss（学习reasoning behavior）→ Stage 2: sample-level per-conversation normalized loss（恢复long-input-short-output性能） |
| 重点 | 大幅扩展agentic datasets比例 |
| 低effort模式 | 新增low effort reasoning mode |
| Chat template | 与Nemotron 3 Nano相同 |
训练数据
| 项目 | 详情 |
|---|---|
| SFT数据 | 780M samples，开放源为Nemotron-Post-Training-Data |
| Agentic CLI数据 | 15K synthesis tasks + 3K SWE tasks + 10K web dev tasks；用Qwen3 Coder/OpenCodex/Agentic LLMs录制交互轨迹 |
| 合成数据 | Economics, formal logic, MCQ (3.5M samples ~1.6B tokens), CUDA kernel (100K), financial reasoning (366K)等 |
3. RL Recipe
训练策略
| 项目 | 详情 |
|---|---|
| 三部分 | RLVR（3轮）+RLHF + SWE-RL |
| RLVR Round1 | 25 environment types |
| RLVR Round 2 | 26 environment types with Low Effort |
| RLVR Round 3 | 37 environment types, up to 4000 environment instances per batch, Agentic Focused |
| RLHF | 18B tokens |
| SWE-RL | 20B tokens，长程SWE任务 |
| MTP Healing | RL后修复MTP层（RL可能损坏MTP质量） |
| 总规模 | 21+ diverse RL environments，thousands of GPUs |
Infra设计
| 项目 | 详情 |
|---|---|
| RL基础设施 | 大规模异步训练，支持千GPU级别 |
| 关键改进 | 提高RL infra resiliency，支持long-horizon agentic tasks |
| 环境多样性 | 37种环境类型，每batch最多4000实例 |
4. 关键亮点
- LatentMoE：首个同时优化accuracy/FLOP和accuracy/parameter的MoE设计，512experts/layer top-22
- NVFP4预训练：首次大规模稳定NVFP4训练至25T tokens
- Hybrid Mamba-Attention + MoE：Mamba-2为主+少量Attention anchor，1M上下文
- MTP for speculative decoding：acceptance length 3.33，显著加速推理
- Agentic RL at scale：37种环境类型×4000实例/batch，SWE-RL 20B tokens
- 推理效率：比GPT-OSS-120B快2.2×，比Qwen3.5-122B快7.5×（8k/64k ISL/OSL）
- 两阶段SFT loss：token-level→sample-level，解决long-input-short-output退化
