基于 36 篇技术报告梳理 2025 下半年到 2026 上半年的开源大模型技术演进：注意力从全局走向混合稀疏、DSA 成为事实标杆、线性注意力在旗舰模型落地、滑动窗口回归与 Mamba 路线，以及 MoE、训练精度与 MTP 的演进趋势。
开源大模型技术演进时间线（2025H2- 2026H1）
基于36篇技术报告整理
三个视角：预训练 / 后训练(SFT) / 强化学习(RL)
一、预训练技术演进
1.1 注意力机制：从标准Attention到混合稀疏
| 时间 | 模型 | 技术 | 核心思路 |
|---|---|---|---|
| 2025.05 | Qwen3 | GQA + YaRN长上下文 | 标准GQA，通过YaRN做上下文扩展 |
| 2025.05 | Hunyuan-TurboS | Mamba-Transformer Hybrid | 首个大规模Mamba+Transformer混合MoE |
| 2025.07 | Kimi-K2 | MLA (Multi-head Latent Attention) | 延续DeepSeek-V3的MLA |
| 2025.09 | LongCat-Flash | MLA + Zero-Computation Experts | 动态计算预算分配 |
| 2025.12 | DeepSeek-V3.2 | DSA (DeepSeek Sparse Attention) | Lightning Indexer + top-k token selection，O(L²)→O(Lk) |
| 2025.12 | Nemotron3-Whitepaper | Hybrid Mamba-Attention + MoE | Mamba-2为主+少量Attention anchor |
| 2026.01 | MiMo-V2-Flash | Hybrid SWA(128)+Global5:1 | 滑动窗口128+learnable attention sink bias |
| 2026.02 | Qwen3.5 | GDN (Gated Delta Networks) | 替代75%注意力层→O(n)，KV Cache恒定 |
| 2026.02 | GLM-5 | DSA集成 | 借鉴DeepSeek Sparse Attention |
| 2026.04 | DeepSeek-V4 | OPD (Optimized Proportional-Derivative Attention) | MLA升级版 |
| 2026.06 | GLM-5.2 | DSA + IndexShare | 每4层共享indexer，FLOPs降2.9× |
| 2026.06 | LongCat-2.0 | LSA (LongCat Sparse Attention) | SI+CLI+HI三重优化改进DSA |
| 2026.07 | Kimi-K3 | Hybrid KDA+Gated MLA3:1 | KDA(线性注意力)+Gated MLA(全局)交错，+ Attention Residuals |
| 2026.07 | Gemma4 | MoE + Hybrid Attention | 延续Gemma3的sliding window + global |
| 2026.07 | Inkling | SWA:Global 5:1 +相对位置编码 + Short Convolutions | 非RoPE的位置编码，K/V后和残差前加short conv |
演进趋势：
- 从全局Attention → 混合稀疏：几乎所有2026年模型都采用某种形式的稀疏/混合注意力
- DSA成为标杆：DeepSeek提出后被GLM-5/5.2、LongCat-2.0等跟进改进
- 线性注意力落地：Qwen3.5的GDN和Kimi-K3的KDA标志着线性注意力首次在旗舰模型中实用化
- 滑动窗口回归：MiMo-V2-Flash、Inkling等采用极小window(128)反而优于大window
- Mamba路线：NVIDIA Nemotron系列坚持Mamba-2+Attention hybrid，Hunyuan-TurboS最早探索
1.2 MoE架构：从标准MoE到LatentMoE
| 时间 | 模型 | 设计 | 总参/激活 | 专家数/Top-k |
|---|---|---|---|---|
| 2025.05 | Qwen3 | 标准MoE | 235B/22B | - |
| 2025.07 | Kimi-K2 | DeepSeekMoE | 1T/32B | shared+routed |
| 2025.08 | GLM-4.5 | DeepSeekMoE变体 | - | shared+routed |
| 2025.09 | LongCat-Flash | Zero-Computation Experts | 560B/18.6-31.3B | 动态激活 |
| 2025.12 | Nemotron3-Nano | LatentMoE | - | latent space routed |
| 2026.01 | MiMo-V2-Flash | 标准MoE | 309B/15B | 256experts/top-8 |
| 2026.02 | Qwen3.5 | MoE+GDN | 397B/17B | 极端稀疏4.3% |
| 2026.04 | Nemotron3-Super | LatentMoE | 120B/12B | 512experts/top-22, latent1024 |
| 2026.05 | MiniMax-M2 | 标准MoE | - | - |
| 2026.06 | Nemotron3-Ultra | LatentMoE | 550B/55B | 512experts/top-22, latent2048 |
| 2026.06 | LongCat-2.0 | MoE + N-gram Embedding | 1.6T/~48B | +135B ngram参数 |
| 2026.07 | Kimi-K3 | StableLatentMoE | 2.8T/104B | 896experts/top-16 |
演进趋势：
- LatentMoE兴起：NVIDIA首创，Kimi-K3跟进（Stable LatentMoE），在latent space路由，优化accuracy per parameter
- 极端稀疏化：Qwen3.5仅4.3%激活率，Kimi-K3 896expert/top-16
- 动态计算：LongCat-Flash的Zero-Computation Experts实现token级动态预算
- 参数效率新思路：LongCat-2.0的N-gram Embedding在MoE正交维度扩参
1.3 训练精度与效率
| 时间 | 模型 | 精度 | 规模 |
|---|---|---|---|
| 2025.05 | MiMo-7B | 标准BF16 | 25T tokens |
| 2025.12 | Nemotron3-Nano | NVFP4预训练 | 首次展示 |
| 2026.01 | MiMo-V2-Flash | FP8 mixed-precision | 27T tokens |
| 2026.04 | Nemotron3-Super | NVFP4 | 25T tokens, 120B参数 |
| 2026.04 | DeepSeek-V4 | FP8预训练 | 32T+ tokens |
| 2026.06 | Nemotron3-Ultra | NVFP4 | 20T tokens, 550B参数（最大规模NVFP4） |
演进趋势：低精度预训练从实验性走向production，NVIDIA系统性推进NVFP4，DeepSeek/小米采用FP8
1.4 Multi-Token Prediction (MTP)
| 时间 | 模型 | MTP设计 |
|---|---|---|
| 2025.05 | MiMo-7B | MTP提升性能+加速推理 |
| 2025.12 | Nemotron3系列 | 2层shared-weight MTP for speculative decoding |
| 2026.01 | MiMo-V2-Flash | Lightweight MTP (SWA+Dense FFN, 0.33B/block)，3层达3.6acceptance |
| 2026.04 | DeepSeek-V4 | MTP |
| 2026.06 | GLM-5.2 | 改进MTP, acceptance length+20% |
| 2026.07 | Kimi-K3 | MTP层fine-tune为EAGLE-3draft model (LK loss) |
演进趋势：MTP从附加训练目标→推理加速核心组件，Kimi-K3将MTP层直接fine-tune为speculative decoding draft model
1.5 预训练数据规模
| 时间 | 模型 | 数据量 |
|---|---|---|
| 2025.05 | MiMo-7B | 25T |
| 2025.05 | Qwen3 | 36T+ |
| 2025.07 | Kimi-K2 | 未披露 |
| 2025.09 | LongCat-Flash | 20T+ |
| 2026.01 | MiMo-V2-Flash | 27T |
| 2026.02 | Qwen3.5 | “数万亿”（未精确） |
| 2026.04 | DeepSeek-V4 | 32T+ |
| 2026.04 | Nemotron3-Super | 25T |
| 2026.06 | Nemotron3-Ultra | 20T |
| 2026.06 | GLM-5.2 | 28.5T |
| 2026.06 | LongCat-2.0 | 35T+ |
| 2026.07 | Inkling | 45T |
| 2026.07 | Kimi-K3 | 未精确披露 |
趋势：主流在20-45T区间，数据规模竞赛趋于平台期，重心转向数据质量和配比
二、后训练(SFT)技术演进
2.1 从单阶段SFT到多阶段Cold-Start
| 时间 | 模型 | SFT方法 |
|---|---|---|
| 2025.04 | Seed1.5-Thinking | Cold-start: 人工精标少量长CoT → 训练初版 → rejection sampling扩增 |
| 2025.05 | MiMo-7B | 专门SFT阶段（非详述） |
| 2025.05 | Qwen3 | 四阶段：Long-CoT Cold Start → ReasoningRL → Thinking Mode Fusion → GeneralRL |
| 2025.06 | MiMo-VL | 四阶段预训练含Long-context SFT，直接进入RL |
| 2025.07 | Kimi-K2 | SFT作为RL cold-start |
| 2025.09 | LongCat-Flash-Thinking | Mid-training注入reasoning数据 → Reasoning-Oriented SFT |
| 2025.12 | DeepSeek-V3.2 | Specialist Distillation：6域专家模型生成蒸馏数据 |
| 2026.02 | GLM-5 | Cross-Stage Distillation |
| 2026.04 | Nemotron3-Super | 两阶段SFT：token-level→sample-level loss |
| 2026.04 | DeepSeek-V4 | Specialist Distillation（继承V3.2） |
| 2026.07 | Kimi-K3 | XTML格式统一所有agentic轨迹 + QAT从SFT开始 |
演进趋势：
- Cold-Start成为标配：几乎所有reasoning model都用少量高质量CoT数据做cold-start
- Specialist Distillation兴起：DeepSeek首创，用domain-specialized expert模型生成蒸馏数据
- Mid-training注入reasoning数据：LongCat-Flash-Thinking、MiMo-VL发现预训练阶段即引入CoT reasoning data效果显著优于仅post-training
- Loss设计创新：Nemotron的token-level→sample-level两阶段解决长output主导问题
2.2 从通用SFT到Agentic SFT
| 时间 | 模型 | Agentic SFT设计 |
|---|---|---|
| 2025.07 | Kimi-K2 | Agent任务SFT数据 |
| 2025.12 | DeepSeek-V3.2 | 6域specialist含Agentic Coding和Agentic Search |
| 2026.04 | Nemotron3-Super | Agentic CLI dataset(15K+3K SWE+10K web dev)，录制real交互轨迹 |
| 2026.06 | Nemotron3-Ultra | 大规模agentic SFT(math proof+science web-search traces+multi-turn chat+CUDA+financial) |
| 2026.07 | Kimi-K3 | XTML序列化所有复杂agentic轨迹，合成+human-in-the-loop |
趋势：Agent SFT数据从简单tool-call演进到完整multi-step轨迹录制+环境交互+XTML结构化
三、强化学习(RL)技术演进
3.1 RL算法演进
| 时间 | 模型 | 算法 | 关键创新 |
|---|---|---|---|
| 2025.04 | Seed1.5-Thinking | VAPO + DAPO | Actor-critic SOTA(VAPO) + Policy-gradient无critic SOTA(DAPO) |
| 2025.05 | MiMo-7B | GRPO | 去KL Loss + Dynamic Sampling + Clip-Higher |
| 2025.05 | Qwen3 | GRPO | 标准GRPO |
| 2025.06 | MiniMax-M1 | CISPO | Clip-Importance-Sampling Policy Optimization |
| 2025.07 | Kimi-K2 | 同步RL + partial rollout | 继承K1.5 |
| 2025.08 | InternVL3.5 | Cascade RL (MPO→GSPO) | Offline RL stable convergence → Online RL refined alignment |
| 2025.12 | DeepSeek-V3.2 | Scaled GRPO | Unbiased KL Estimate + per-domain β |
| 2026.02 | GLM-5 | Async RL + Cross-Stage Distillation | 异步训练加速 |
| 2026.04 | Nemotron3-Super | Multi-roundRLVR(3轮) + RLHF + SWE-RL | 37环境类型×4000实例/batch |
| 2026.05 | MiniMax-M2 | Self-Evolution RLVR | Forge系统 |
| 2026.06 | Nemotron3-Ultra | RLVR + MOPD | Multi-teacher on-policy distillation |
| 2026.07 | Kimi-K3 | 3域×3effortRL → MOPD | 9个expert→单一模型 |
| 2026.07 | Inkling | 异步RL, 30M+ rollouts | Controllable Thinking Effort |
演进趋势：
- GRPO成为主流起点：几乎所有模型以GRPO/其变体为基础
- VAPO/DAPO引领稳定性：Seed团队贡献的两个框架被广泛参考
- Cascade/Multi-stage RL：InternVL3.5的Offline→Online，逐步成为共识
- 异步RL规模化：GLM-5、Kimi-K3、LongCat-Flash-Thinking(DORA)、Inkling均采用异步架构
- MOPD(多教师蒸馏)兴起：Nemotron3-Ultra、Kimi-K3、MiMo-V2-Flash三家同期独立提出
3.2 Reward设计演进
| 时间 | 模型 | Reward设计 |
|---|---|---|
| 2025.04 | Seed1.5-Thinking | Seed-Verifier(82.7%) → Seed-Thinking-Verifier(99.3%，带reasoning path) |
| 2025.05 | MiMo-7B | Test Difficulty Driven Reward（按test case难度分档给分） |
| 2025.05 | Qwen3 | Rule-based verifier |
| 2025.06 | MiMo-VL | MORL: rule-based + Bradley-Terry RM统一框架 |
| 2025.08 | GLM-4.5 | Rule-based + Generative RM |
| 2025.12 | DeepSeek-V3.2 | Rule-based outcome + length penalty + language consistency + generative RM(per-prompt rubrics) |
| 2026.04 | Nemotron3-Super | Multi-environment verifiable rewards (37种) |
| 2026.06 | Nemotron3-Ultra | MOPD: teacher提供dense token-level reward |
| 2026.07 | Kimi-K3 | MOPD: per-token OPD reward (clip到[-R_max, R_max]) |
| 2026.07 | Inkling | Proper scoring rules + Claims评分器(agent web-search验证) +弃权感知reward |
演进趋势：
- Verifier精度提升：从rule-based → LLM-as-judge → Thinking-Verifier(带reasoning)
- Dense reward兴起：从sparse outcome reward → MOPD的token-level dense reward
- 混合reward：verifiable(rule-based) + non-verifiable(RM) 统一框架成为标配
- 认识论reward：Inkling的弃权感知和Claims验证代表新方向
3.3MOPD (Multi-Teacher On-Policy Distillation) 的崛起
这是2026上半年最重要的RL范式创新，三家几乎同时独立提出：
| 时间 | 模型 | MOPD具体实现 |
|---|---|---|
| 2026.01 | MiMo-V2-Flash | Domain teachers提供dense token-level reward + verifiable outcome reward |
| 2026.06 | Nemotron3-Ultra | 多specialized teacher对student rollout做token-level评分；sampled-token objective优于logit matching |
| 2026.07 | Kimi-K3 | 9个(3域×3effort)expert teacher → per-token OPD reward → 单一fused model |
共同思路：训练多个domain-specialized expert → student生成rollout → teacher对rollout提供dense supervision → student学习
局限性（Nemotron分析）：对self-contained reasoning效果有限，因teacher优势来自off-policy数据exposure而非trajectory preference
3.4 Domain-ParallelRL
| 时间 | 模型 | 实现 |
|---|---|---|
| 2025.09 | LongCat-Flash-Thinking | STEM/Code/Agentic独立RL → fusion → General RL |
| 2026.07 | Kimi-K3 | General/GeneralAgent/CodingAgent × low/high/max → 9 expert → MOPD |
趋势：多域RL从混合训练（不稳定）→ 域并行训练+后融合（稳定+近Pareto-optimal）
3.5 RL Infra演进
| 时间 | 模型 | Infra | 关键特点 |
|---|---|---|---|
| 2025.04 | Seed1.5-Thinking | Decoupled streaming rollout | 异步partial trajectory, 3×加速 |
| 2025.05 | MiMo-7B | verl + Seamless Rollout Engine | Continuous Rollout + Async Reward + Early Termination, 2.29×加速 |
| 2025.06 | MiMo-VL | verl-based, single+multi controller | RL60K GPU hours |
| 2025.09 | LongCat-Flash-Thinking | DORA | >3×加速，万卡级异步RL |
| 2026.02 | GLM-5 | Slime (Async RL) | 自研异步RL基础设施 |
| 2026.04 | Nemotron3-Super | Large-scale async RL | 千GPU级，21+环境，resiliency优化 |
| 2026.07 | Kimi-K3 | Co-located RL + External KV Cache Pool + AgentENV | 1M上下文RL, microVM sandbox |
演进趋势：
- 异步成为标配：同步RL已被淘汰，所有新模型采用某种异步架构
- Long-horizon RL基建：Kimi-K3的1M上下文RL(External KV Cache+auto-throttling)、Nemotron的SWE-RL(20B tokens)
- Sandbox进化：Kimi-K3的AgentENV(microVM, 133ms checkpoint/49ms resume)代表AgentRL环境最新水平
- Rollout加速：MTP加速rollout（MiMo-V2-Flash、Nemotron）成为RL scaling的关键enabler
四、总结：三大方向的交汇趋势
2025下半年的主题
预训练：DSA/混合注意力确立、MoE规模化、数据量冲向20T+
后训练：Cold-start + Specialist Distillation成型
RL：GRPO/VAPO为基础、rule-based verifier为主、同步→异步过渡
2026上半年的主题
预训练：线性注意力实用化(GDN/KDA)、LatentMoE、低精度训练production化、1M上下文
后训练：Mid-training引入reasoning data、Agentic trajectory SFT、QAT从SFT开始
RL：MOPD范式爆发、Domain-Parallel RL、million-token Agentic RL、3000万+rollouts规模
核心判断与未来展望
传统的”预训练→SFT→RL”三阶段泾渭分明的pipeline正在坍缩：
- 上游：MiMo-VL和LongCat-Flash-Thinking证明了在预训练Stage3就引入long CoT reasoning data比仅post-training效果好得多。Kimi-K3从SFT第一步就做QAT，将部署考量提前到训练全程。
- 中游：Specialist Distillation（DeepSeek）和MOPD（Nemotron/Kimi/MiMo）模糊了SFT和RL的边界——teacher本身是RL产物，student的学习信号既不是纯SFT也不是纯RL。
- 下游：Nemotron3-Ultra的MTP Boosting在RL之后用KL distillation修复推理加速能力，形成”RL→distillation”的反向流。
推测：未来可能出现”unified training”范式，即数据quality/diversity调度和reward signal贯穿训练全程，而非人为划分阶段。
三家同时提出MOPD说明这是当前scaling的核心瓶颈：单个模型难以在所有domain同时达到Pareto前沿。但Nemotron的分析也指出了局限：
- MOPD对”student已经能sample到的trajectory空间”有效（agentic任务）
- 对”需要全新reasoning path”的能力无效（HLE等self-contained reasoning）
推测：下一步可能需要”MOPD +能力注入”的组合——先用额外SFT/RL让student能覆盖teacher的trajectory空间，再做MOPD。或者探索更强的offline distillation方法（如trajectory-level而非token-level）。
当前三条路线并存（线性/稀疏/滑动窗口），但它们适配不同workload：
| 路线 | 适配场景 | 代表 |
|---|---|---|
| 线性注意力 (GDN/KDA) | 超长序列生成、高并发serving | Qwen3.5, Kimi-K3 |
| 稀疏注意力 (DSA/LSA) | 长上下文理解+精确检索 | DeepSeek, GLM-5.2, LongCat-2.0 |
| 滑动窗口+sink | 推理延迟敏感、端侧部署 | MiMo-V2-Flash, Inkling |
推测：未来可能出现”workload-aware动态切换”——同一模型在不同层/不同上下文长度使用不同注意力策略。Kimi-K3的KDA(3):MLA(1)已是初步形态，但比例固定；更进一步是让router动态选择。
从36篇报告看，RL算法趋于收敛（GRPO/VAPO变体够用），但环境质量和多样性成为决定性因素：
- Kimi-K3投入大量工程构建mock applications（Gmail/Notion/Slack），单rollout达thousands of tool calls
- Nemotron3-Super跨37种环境类型、4000实例/batch
- DeepSeek-V3.2合成8.5万agentic任务，frontier模型只有62%正确率
推测：RL环境的”生态位”会成为下一阶段竞争焦点。谁能构建更真实、更可验证、更多样的环境（特别是长程、多步、有状态的），谁的Agent就更强。环境的构建方法论（合成 vs 真实录制 vs 混合）也会成为独立的研究方向。
MTP不再仅是”推理加速trick”，而是训练系统的核心组件：
- MTP加速RL rollout → 更多rollouts/单位时间 → RL能scale更远
- MTP层可fine-tune为draft model → 免去额外训练draft model的成本
- NVFP4/FP8不仅省训练成本，还直接用于推理部署（Kimi-K3全程QAT消除train-inference mismatch）
推测：训练和推理的co-design会加深。未来可能出现”为speculative decoding而设计的预训练目标”，或者”为RL rollout效率而设计的模型架构”。MiMo-V2-Flash的Lightweight MTP(0.33B/block)已是这一方向的先驱。
从报告中反复出现的pattern：
- MiMo-7B(7B)通过数据质量和配比超越32B模型
- Qwen3.5-9B凭推理数据超越120B模型
- Seed1.5-Thinking发现math data的跨域泛化能力极强
推测：数据工程（质量过滤、合成、配比、课程学习）的ROI远高于简单扩参数。但当前报告普遍对数据recipe披露最少（商业敏感）。这是开源社区最大的information gap，也是后来者弯道超车的主要机会。
Kimi-K3展示了完整的million-token Agentic RL技术栈（External KV Cache Pool + auto-throttling + AgentENV microVM + 133ms checkpoint），这是一个engineering complexity极高的系统。
推测：能做到stable million-token RL training的团队屈指可数。这不是算法问题而是系统工程问题（KV cache管理、sandbox状态persistence、partial rollout调度、fault tolerance）。这将成为Agent模型竞争中最硬的基础设施门槛。
