梳理 NVIDIA Nemotron 3 白皮书：由三个模型组成的混合 Mamba-Transformer MoE 家族、在隐空间做路由以兼顾延迟与吞吐的 LatentMoE 核心技术，以及多环境强化学习等预训练与后训练设计。
NVIDIA Nemotron 3 Whitepaper 摘要
论文：NVIDIA Nemotron 3: Efficient and Open Intelligence
团队：NVIDIA
时间：2025.12(arXiv:2512.20856)
页数：13页（Whitepaper，概述三模型的核心技术）
1. 架构概览
三个模型
| 模型 | 参数 | 定位 |
|---|---|---|
| Nano | 30B-A3B | 极致cost-efficient推理 |
| Super | 更大 | collaborative agents + high-volume workloads (如IT ticket automation) |
| Ultra | 最大(550B/55B) | SOTA accuracy + reasoning |
核心架构：Hybrid Mamba-Transformer MoE
| 项目 | 详情 |
|---|---|
| 组成 | 以Mamba-2 + MoE层为主，极少量self-attention层 |
| Layer Pattern (Nano) | Mamba2+MoE×5 → Mamba2+Attention+MoE×3 → 循环 |
| 推理优势 | Mamba层生成时仅需constant state（vs attention的线性增长KV cache） |
| 效果 | Nano 30B-A3B比Qwen3-30B-A3B throughput高 3.3×，长序列更大 |
| 上下文 | 最高1M tokens |
关键技术：LatentMoE
问题：标准MoE在latency-focused(memory-bandwidth-bound)和throughput-focused(all-to-all communication-bound)部署下都有瓶颈
做法：
- Tokens先从model hidden dim d投射到更小的latent dim ℓ
- 在latent space中做expert routing和computation
- Routed parameter loads和all-to-all traffic减少 d/ℓ 倍（通常~4×）
- 用省下的效率增加total expert数和top-K active experts（同样d/ℓ倍）
效果：accuracy per byte提升，overall inference cost基本不变
其他关键技术
| 技术 | 详情 |
|---|---|
| NVFP4 | Super/Ultra训练使用NVIDIA FP4格式 |
| MTP | Super/Ultra含MTP层，加速长文本生成 +轻微质量提升 |
| Long Context (1M) | SFT在256K序列长度上执行；RL中包含long-context environment |
2. 预训练 Recipe
| 项目 | 详情 |
|---|---|
| 数据 | 将开源10T+ tokens of datasets |
| 训练recipes | 将全部开源 |
| 具体策略 | 详见各模型独立technical report (Nano/Super/Ultra) |
3. RL Recipe (Multi-EnvironmentRL)
训练策略
| 项目 | 详情 |
|---|---|
| 算法 | GRPO + masked importance sampling（处理training和rollout policies差异） |
| 架构 | 异步RL：training与inference解耦 |
| Rollout加速 | MTP加速rollout生成 |
| 环境设计 | 多种heterogeneous environments在single RL run中同时优化 |
| 覆盖 | competitive coding, competition math, agentic tool use等 |
| 开源 | NeMo-RL (训练) + NeMo-Gym (环境) 全部Apache 2.0开源 |
Granular Reasoning Budget Control
- 用户指定thinking trace的max token budget
- 达到budget时append
</think>token，模型基于partial thinking trace生成response - 提供accuracy-efficiency trade-off的细粒度控制
4. 关键亮点
- Hybrid Mamba-Transformer MoE：极少attention层+ 大量Mamba2+MoE → 3.3× throughput + 1M context
- LatentMoE：latent projection减4× routing/communication开销，用省下的空间加expert数和top-K
- NVFP4：NVIDIA自研FP4训练格式
- Multi-Environment RL：单次RL run同时优化coding/math/tool-use/long-context
- Granular Budget Control：inference时可控reasoning token预算
- 完全开源：模型权重 + pre/post-training software + recipes +10T+ data (redistribution rights内)
- NeMo-RL + NeMo-Gym：开源RL训练框架+环境集合
