解读小米 MiMo-7B 如何让 7B 基座模型的推理潜力超越 32B 模型：从预训练阶段的数据质量与配比策略、兼顾性能与推理加速的 MTP，到借鉴竞赛评分机制缓解代码任务稀疏奖励的 Test Difficulty Driven Reward 与高效 rollout 引擎。

MiMo-7B 技术报告摘要

论文：MiMo: Unlocking the Reasoning Potential of Language Model – From Pretraining to Posttraining
团队：小米 LLM-Core
时间：2025.05 (arXiv:2505.07608)
页数：28页

1. 预训练 Recipe

项目	详情
数据来源	网页、学术论文、书籍、编程代码、合成数据
数据处理	优化文本抽取工具 + 多维度数据过滤，提升推理数据密度
合成数据	利用高级推理模型生成大量多样化合成推理数据
三阶段策略	阶段性调整数据配比，后期阶段提高代码/数学/推理数据占比
代码数据	保持原始仓库完整性，按仓库级别处理
质量过滤	多维度过滤：语言识别、去重、安全过滤、质量评分

项目	详情
报告未详述预训练Infra	（未公开集群规模和并行策略细节）

项目	详情
方法	标准 Supervised Fine-Tuning
用途	作为 RL 的冷启动（cold-start），产出 MiMo-7B-SFT
数据清洗	三阶段预处理：①去除与评估集16-gram重叠的query ②剔除混合语言/不完整回复 ③质量+多样性筛选

项目	详情
数据来源	开源数据 + 自有蒸馏数据
数据重点	推理类任务（数学、代码）的长思维链数据

项目	详情
未特别说明	-

项目	详情
算法	GRPO
关键改进	①去除KL Loss ②Dynamic Sampling（过滤passrate=0或1的prompt） ③Clip-Higher（增大上clip阈值，促进探索）
奖励设计	Test Difficulty Driven Reward（IOI赛制启发）：用多模型rollout的pass rate将test case聚类为Easy/Medium/Hard档，设计Strict和Soft两种打分方案，使难题即使只通过部分子任务也能获得部分奖励
采样策略	Easy Data Re-Sampling：passrate=1的题存入easy pool，rollout时10%概率从pool采样混入batch，稳定policy update
训练长度	32K → 38K → 48K（渐进扩展）
超参	batch=512, mini_batch=32, 16 grad updates/iter, lr=1e-6, temp=1.0, top_p=1.0
两条路线	RL-Zero（Base直接RL）+ RL（SFT冷启动再RL）

项目	详情
RL框架	基于 verl + Ray
核心创新	Seamless Rollout Engine
组件	Continuous Rollout + Async Reward Computation + Early Termination
加速效果	训练 2.29×，验证 1.96×
推理引擎	vLLM（支持MTP推理）
关键优化	解决长序列导致的GPU空闲，同步训练无staleness