解读面壁智能 MiniCPM-o 这一端侧多模态大模型系列：以端到端方式接受图像、视频、文本与音频输入并生成文本和语音输出，覆盖音频编码、语音解码、端到端视觉理解与全模态流式机制，8B 参数达到 GPT-4o 级别体验。
部署：https://modelbest.feishu.cn/wiki/RnjjwnUT7idMSdklQcacd2ktnyN
MiniCPM-o 是从 MiniCPM-V 升级的最新端侧多模态大模型系列。该系列模型可以以端到端方式，接受图像、视频、文本、音频作为输入，并生成高质量文本和语音输出。
MiniCPM-o 2.6: 🔥🔥🔥 MiniCPM-o 系列的最新、性能最佳模型。总参数量 8B，视觉、语音和多模态流式能力达到了 GPT-4o-202405 级别，是开源社区中模态支持最丰富、性能最佳的模型之一。在新的语音模式中，MiniCPM-o 2.6 支持可配置声音的中英双语语音对话，还具备情感/语速/风格控制、端到端声音克隆、角色扮演等进阶能力。模型也进一步提升了 MiniCPM-V 2.6 的 OCR、可信行为、多语言支持和视频理解等视觉能力。基于其领先的视觉 token 密度，MiniCPM-V 2.6 成为了首个支持在 iPad 等端侧设备上进行多模态实时流式交互的多模态大模型。
MiniCPM-V 2.6: MiniCPM-V 系列中性能最佳的模型。总参数量 8B，单图、多图和视频理解性能超越了 GPT-4V。它取得了优于 GPT-4o mini、Gemini 1.5 Pro 和 Claude 3.5 Sonnet等的单图理解表现，并成为了首个支持在 iPad 等端侧设备上进行实时视频理解的多模态大模型。
端到端全模态架构
MiniCPM-o 2.6 的端到端全模态整体架构。该模型基于SigLip-400M、Whisper-medium-300M、ChatTTS-200M 和 Qwen2.5-7B-Instruct，总共有 8B 参数。整体架构如下所示。
端到端语音建模
大多数现有的多模态模型依赖 ASR 和 TTS 工具搭建流水线来理解和生成语音，导致了明显的语音信息损失和比较有限的语音控制能力。提出一种混合连接的端到端语音建模架构，在保证模型能力上限的同时具备优秀的训练和推理效率。
音频编码
首先使用 Whisper 编码音频输入，然后进一步压缩其特征表示来减小后续的计算开销。默认情况下，Whisper 编码器会为每秒音频生成 50 个 token。受 LLaVA-UHD 的启发，在将音频 token 输入到大语言模型主干之前会进一步压缩音频 token，以提高 token 信息密度和计算效率。实验结果表明从 50 token/秒压缩到 25 token/秒时，造成的信息损失几乎可以忽略，并可提高近一倍的计算效率。
语音解码
为了实现对语音输出的精细控制，首先从大语言模型主干中获得连续特征作为 speech embedding，然后通过大语言模型继续生成文本。speech embedding 和生成的文本同时会输入给解码器作为生成语音梅尔谱的控制条件。MiniCPM-o 2.6 使用了初始化自 ChatTTS 的轻量级自回归语音解码器来联合建模输入的 speech embedding、文本和输出的音频 token。
语音到语音架构
直接通过编码后的音频特征（不使用 ASR）将音频编码器与大语言模型连接起来。大语言模型和语音解码器则以混合方式连接：（1）speech embedding 连续特征控制语音、情感、口音及其他细粒度语音特征。在训练过程中，来自语音解码器的梯度会反向传播到包含大语言模型主干和音频编码器的整个模型参数。模型通过端到端方式训练，没有使用任何中间损失和监督。（2）还将来自大语言模型的文本输入到语音解码器，来提供更好的语义控制和训练数据效率。
端到端视觉理解
MiniCPM-o 2.6 采用 LLaVA-UHD 的自适应视觉编码方案以实现高清视觉理解，支持处理最高 180 万像素（例如 1344x1344）的任意长宽比图像。具体而言，先将图像划分为多个切片，使得每个切片在分辨率和长宽比方面接近 ViT 的预训练设置。为了提高计算效率，支持每张图像最多 9 个切片。然后将每个切片及原始完整图像输入给 SigLIP 以获取视觉特征。最后，应用 perceiver resampler 将每个图像切片的特征序列压缩为 64 个视觉 token。更多细节参见 LLaVA-UHD 和MiniCPM-V 原始论文。
全模态流式机制
本章介绍 MiniCPM-o 2.6 的全模态流式机制，包括：（1）改造语音编码器和解码器以支持在线流式处理，（2）使大语言模型主干能够处理并行的多模态流信息。
流式音频编码
大多数现有模型只能在整个音频输入信号完整后才开始进行音频编码，从而引入了显著的延迟。为了解决这个问题，将输入音频分割成多个片段，每个片段是表示一秒钟的音频的固定数量音频 token。在音频编码过程中，每个片段都采用因果注意力机制进行编码，仅关注自身及之前的片段，从而满足在线流式编码的需求，同时与离线整体编码相比保持了最小的信息损失。
流式语音解码
大多数语音生成模型要求在开始生成音频之前，所有文本 token 都已经完整就位，如图 A 所示。虽然这种方式在离线任务中表现良好，但无法满足流式场景的需求。对于流式模型而言，需要在部分文本生成时就开始生成（和播放）相应音频。
为了实现流式语音生成，每次输入固定数量的文本 token（一个大小为 n 的片段），而解码器立即输出固定数量的音频 token（一个大小为 m 的片段）。这个过程会对下一个文本 token 和音频 token 片段重复进行，以此类推。值得注意的是，文本片段与其对应音频片段之间的并不是精确对齐的。因此在实际应用中，为文本 token 片段的大小保留了更大的空余以避免意外情况。
为了实现上述流式策略并尽可能减小对当前最佳语音解码器的改动，主要引入了两个改变：
- 为文本预留前 N 个位置： 使用语音解码器上下文中的前 N 个位置来放置 speech embedding 和生成中的文本。
- 引入流式因果注意力掩码： 每个新生成的音频片段只能关注到已经生成的前几个文本 token 片段和其之前的所有音频 token。
在图 A-E 中，展示了每当引入新文本 token 和音频 token 时，注意力掩码是如何一步一步变化的。通过控制文本和音频 token 之间的片段注意力掩码，使得音频能以流式方式生成和播放。
- （文本和音频生成的开始） 在*图 B *中，大语言模型主干生成 speech embedding 和前 n 个文本 token（此处 n=2）。然后，将
（1 个位置）、speech embedding（1个位置）和文本 token（n个位置）输入到语音解码器中（总共输入了 2+n 个位置），基于此，模型可以生成最多 m 个音频 token（此处 m=4），但仅关注前 2+n 个位置以及所有之前的音频 token 位置。 - （步骤 1 的重复） 在*图 C *中，大语言模型生成下一段 n 个文本 token。将这些新文本 token 输入到语音解码器中。然后，解码器生成下一段 m 个音频 token。
- （文本生成结束） 在*图 D *中，大语言模型完成所有文本 token 的生成，产生了最后的 k 个文本 token（k<=n，此处 k=2）。剩余的 k 个文本 token 被输入到语音解码器中。然后，语音解码器生成下一个m个音频 token。
- （音频生成结束） 在*图 E *中，语音解码器继续生成音频 token，直到生成
流式视觉理解
将视频流表示为以 1 帧每秒（1 fps）的帧序列。每秒钟从输入的视觉流中采样一帧，并使用自适应高分辨率编码策略对其进行编码，然后将编码后的特征输入给大语言模型主干。
为了在效率和性能之间取得平衡，设计了一种简单的混合分辨率策略。具体而言，只对用户请求结束时的最后一帧进行高分辨率编码（例如 1344 x 896），而其他帧则使用中等分辨率（例如 448 x 448）。
全模态时分复用
为了实现对不同模态的时间对齐的流式理解，提出了一种全模态时分复用机制。如整体框架图所示，首先使用共享的时间线对齐来自多个模态的信息流。受到通信领域时分复用技术的启发，将每个模态的流分成小块（每秒一块），并将同一秒块内的所有模态信息聚集成一个紧凑的序列单元。大语言模型则按时间顺序处理这些多模态序列单元。
需要注意的是，MiniCPM-o 2.6 可以独立于用户提问持续感知多模态输入流，这与现有的多模态流式模型只在用户提问期间获取单帧或少数几帧图像信息是不同的。通过这种方式，MiniCPM-o 2.6 能够处理需要时序记忆和推理的任务（例如，“球在哪个杯子里？”、“我刚才擦掉了哪些字？”）并原生支持多轮流式对话。
局限性
- 可能不稳定的语音输出。 多模态系统提示词使得更灵活的语音控制和许多有趣的功能成为可能，但也给语音输出的稳定性带来了更多挑战。传统的语音对话模型通过全参数记忆单一输出声音，与之相比，MiniCPM-o 2.6 需要从多模态系统提示词中提取和复制声音。受到该问题影响，语音生成结果可能会存在背景噪音和无意义声音等。
- 长语音生成。MiniCPM-o 2.6 原生支持最长 45 秒的单次语音生成，通过滑动窗口技术来支持生成更长的语音。模型训练与滑动窗口推理之间的差距可能导致长语音生成过程中的不稳定现象。
- 多模态流式交互能力。 作为一项实验性能力，模型的多模态流式交互能力在感知、理解和推理能力上仍然有限。
