解读字节跳动 Seed1.5-Thinking 的强化学习方案：VAPO 与 DAPO 两类算法提升推理模型的训练稳定性、带推理路径的验证器把准确率推到 99.3% 以消除奖励作弊，以及 Decoupled-GAE 与长度自适应优化。

Seed1.5-Thinking —技术报告摘要

论文：Seed1.5-Thinking: Advancing Superb Reasoning Models with Reinforcement Learning (arXiv:2504.13914)
团队：ByteDance Seed
发布时间：2025.04
页数：19页

1. 预训练 Recipe

项目	详情
基座模型	MoE，200B总参/ 20B激活
预训练细节	原文未详述（focus在后训练）

项目	详情
Cold Start流程	①人工精标少量高质量长CoT样本 → ②训练初版reasoning model → ③用Seed-Verifier做rejection sampling生成更多CoT轨迹
数据特点	以CoT数据为主；过多non-CoT SFT数据会显著降低模型探索能力
跨域泛化	数学Cold Start流程可泛化到coding、logic puzzle、creative writing
训练配置	截断32K tokens，2epochs，cosine decay lr 2e-5→2e-6

项目	详情
SFT数据	高质量长CoT轨迹（rejection sampling生成）
来源域	STEM、code、logic reasoning、non-reasoning

项目	详情
统一RL框架	融合verifiable data + general data + hybrid data（verifier+RM双评分）
核心算法	VAPO（actor-critic SOTA）+ DAPO（policy-gradient without critic SOTA）
VAPO关键技术	①Value-Pretraining：用π_sft采样+Monte-Carlo return初始化value model ②Decoupled-GAE：λ_value=1.0, λ_policy=0.95独立平衡bias/variance ③Length-adaptive GAE：λ_policy = 1 - α/(1/l)，均匀化长短序列的TD error分布
数据类别	①Verifiable（verifier反馈）②General（reward model打分）③Hybrid（verifier+RM双信号）
RL数据域	STEM、code、logic reasoning、non-reasoning（creative writing/dialogue）
关键发现	Math data有强跨域泛化能力；logic reasoning数据显著提升ARC-AGI

项目	详情
Verifiable问题	两级verifier：Seed-Verifier（LLM +人工原则，82.7%准确率）→ Seed-Thinking-Verifier（带reasoning path的verifier，99.3%准确率）
Seed-Thinking-Verifier	作为verifiable task与数学推理联合优化；生成详细reasoning判断；解决reward hacking/prediction uncertainty/corner cases
Non-verifiable问题	Pairwise generative reward model：比较两个response优劣，用P(“YES”/“NO”)作为reward score；缓解outlier score，稳定RL训练

项目	详情
架构	Decoupled streaming rollout：异步处理partial trajectory generations through prioritized sample pools
加速	3× faster iteration cycles vs synchronous frameworks
稳定性	Mixed-precision training + automatic fault recovery
规模	支持大规模RL runs（具体GPU数未披露）