解读小米 MiMo-VL 的训练思路：预训练中期就引入长思维链推理数据、后训练跳过独立 SFT 直接进入强化学习，并用统一 RLVR 与 RLHF 的混合在线强化学习框架 MORL 让 7B 模型超越 72B 级多模态模型。
MiMo-VL —技术报告摘要
论文：MiMo-VL Technical Report (arXiv:2506.03569)
团队：LLM-Core Xiaomi
发布时间：2025.06
页数：32页
1. 预训练 Recipe
训练策略
| 项目 | 详情 |
|---|---|
| 架构 | Native-resolution ViT（Qwen2.5-ViT）+ MLP Projector + MiMo-7B LLM |
| 四阶段预训练 | Stage1→Stage2→Stage3→Stage4 |
| Stage1 Projector Warmup | 300B tokens, lr=1e-3, seq=8K,仅训练Projector，数据=image-caption pairs |
| Stage2 Vision-Language Alignment | 167B tokens, lr=1e-4→1e-5, seq=8K, 训练ViT+Projector，数据=interleaved data |
| Stage3 Multimodal Pre-training | 1.4T tokens, lr=1e-5, seq=8K, 全参训练，数据=pure text+OCR+grounding+QA+video+GUI+instruction+reasoning data |
| Stage4 Long-context SFT | 550B tokens, lr=2.5e-5, seq=32K, 全参训练，数据=long pure text+long documents+high-res images+extended videos+long reasoning |
| 总训练Token | 2.4T |
| 关键发现 | 预训练阶段引入高质量long CoT reasoning data（非仅在post-training），显著提升模型推理能力 |
训练数据
| 项目 | 详情 |
|---|---|
| Image Caption | 开源+合成，多级质量过滤（knowledge density, readability, image-text relevance） |
| Interleaved | 图文交错文档，长尾视觉概念重采样 |
| OCR & Grounding | Documents/tables/scenes/handwritten/blurred text +单/多物体定位（绝对坐标） |
| Video | 在线视频→dense event-level re-captioning（时间戳标注）+temporal grounding+video analysis |
| GUI | GUI操作数据 |
| Synthetic Reasoning | 用大模型生成long CoT responses + rejection sampling质量筛选；从pre-training Stage3开始引入 |
Infra设计
| 项目 | 详情 |
|---|---|
| 原文未详述预训练Infra | 继承MiMo-7B体系 |
2. 后训练 Recipe — 无独立SFT阶段
Stage4已是Long-context SFT，后训练直接进入RL。
3. RL Recipe — MORL (Mixed On-Policy Reinforcement Learning)
训练策略
| 项目 | 详情 |
|---|---|
| 核心框架 | MORL：同时优化RLVR + RLHF目标 |
| 算法 | 基于GRPO思想，exclusively on-policy gradient updates增强训练稳定性 |
| Reward Router | Seamless Reward Router根据query类型分发到不同reward service |
| 框架 | verl + Seamless Rollout Engine（继承MiMo-7B） |
###RLVR任务（rule-based rewards）
| 任务 | 详情 |
|---|---|
| Visual Reasoning | 80K verifiable STEM问题（K-12+）；过滤proof-based+改写MC为free-answer；Math-Verify评判 |
| Text Reasoning | 数学推理数据（college/competition level），继承MiMo-7B数据 |
| Image Grounding | General+GUI grounding；reward = GIoU（bbox）或point-in-box |
| Visual Counting | Counting accuracy vs ground-truth |
| Temporal Video Grounding | 预测[mm:ss, mm:ss]时间段；reward = temporal IoU |
RLHF（model-based rewards）
| 项目 | 详情 |
|---|---|
| Query Collection | 开源instruction数据+人工编写，clustering+balance中英/helpful/harmless |
| Response Generation | MiMo-VL-7B + 多个top VLMs生成，advanced VLM pairwise rank |
| Reward Models | 两个：text-only RM（从MiMo-7B初始化）+ multimodal RM（从MiMo-VL-7B初始化），Bradley-Terry objective |
| Anti-hacking | 同一query set同时用于RM training和RLHF过程 |
Discussion（关键发现）
| 发现 | 详情 |
|---|---|
| On-Policy > Vanilla GRPO | Fully on-policy更新比标准GRPO更稳定 |
| RL Tasks Interference | 多任务RL存在干扰：某些任务（如grounding）的gain在混合RL后下降；但整体trade-off可接受 |
| Reasoning in Pre-training | 从Stage3引入CoT reasoning data比仅在post-training引入效果显著更好 |
4. 关键亮点
- 预训练引入Long CoT Reasoning Data：从Stage3就加入合成reasoning数据，而非仅post-training，显著提升推理
- MORL：统一RLVR(5类任务)+RLHF的混合on-policy RL框架
- Exclusive On-Policy Updates：比vanilla GRPO更稳定
- 7B超越72B：OlympiadBench 59.4超越78B模型；GUI OSWorld-G56.1超越UI-TARS
- 双Reward Model：text-only + multimodal分别处理不同模态query
- 四阶段2.4T预训练：渐进式数据混合+能力递进
