Glyph 不再把文本当作离散 token 序列直接输入 LLM，而是先渲染成紧凑图像再用视觉语言模型处理，用一个视觉 token 承载数十个文本 token。本文解读其研究背景、技术架构与性能评估。
核心思想是：不再将文本作为离散的 Token 序列直接输入 LLM，而是先将其渲染（Render）成紧凑的图像，再利用视觉语言模型（VLM）进行处理。 这种方法将文本的“字形”（Glyph）作为信息载体，通过视觉表征实现对原始文本信息的高密度压缩。一个视觉 Token 可以承载多个甚至数十个文本 Token 的信息，从而在不牺牲语义保真度的前提下，大幅降低输入模型的 Token 数量。
- 论文地址：https://arxiv.org/abs/2510.17800
- GitHub地址：Glyph
deepseek ocr并没有做文本转为图像这一步，重点是对图像视觉压缩然后还原的逻辑验证，而glm的这个框架则是重点在做这个文本转为图像这一前置步骤。
研究背景与核心思想
主流 LLM 依赖于 Transformer 架构，其核心是自注意力机制。该机制允许模型中的每个 Token 与序列中的所有其他 Token 进行交互，从而捕捉长距离依赖关系。然而，这种能力的代价是巨大的：
- 计算复杂度：自注意力计算量与序列长度 N 的平方（O(N²)）成正比。当 N 从 8K 增长到 128K 时，计算量会增长 256 倍。
- 内存开销：存储注意力分数矩阵（KV Cache）需要 O(N²) 的内存空间。对于百万级上下文，这会轻易耗尽现有最高端硬件的显存。
现有的优化方案，如稀疏注意力、滑动窗口注意力等，通过限制每个 Token 的交互范围来降低复杂度至近线性（如 O(N log N) 或 O(N)），但这可能牺牲模型捕捉全局信息的能力。而像 YaRN 这样的位置编码扩展技术，虽然能让模型“接受”更长的输入，却无法降低推理成本，且在超长外推时性能会下降。检索增强（RAG）则通过外部检索来缩短输入，但面临着检索失败导致关键信息丢失的风险。这些方法都在性能、成本、信息完整性这个“不可能三角”中进行权衡。
Glyph 的创新之处在于它彻底改变了模型与长文本交互的方式。它将长上下文处理从一维的序列建模问题，巧妙地转化为二维的视觉理解问题，从而绕开了传统方法的固有瓶颈。核心思想：通过将文本渲染为图像，利用 VLM 的视觉压缩能力，实现对原始文本信息的高密度压缩。
这种范式转移带来的直接优势包括：
- 显著降低计算与内存需求：由于输入序列的有效长度（Token 数量）被压缩了数倍（例如 3-4 倍），自注意力机制的二次方开销被显著削减，从而大幅降低推理时的计算和内存需求。
- 扩展有效上下文窗口：对于一个固定上下文窗口（如 128K Token）的 VLM，若能实现 4 倍的视觉压缩，其能处理的原始文本长度就能达到 512K，极大地扩展了模型的应用范围。
注：与某些仅进行图像视觉压缩和还原的 OCR 模型不同，Glyph 的重点在于文本到图像的渲染这一前置步骤，并在此基础上构建 VLM 理解框架。
技术架构
- 第一阶段：持续预训练 (Continual Pre-Training)
- 第二阶段：LLM 驱动的渲染配置搜索 (LLM-Driven Rendering Search)
- 第三阶段：后训练优化 (Post-Training)
通过这三个阶段，Glyph 从一个通用的 VLM 基础模型，逐步演化为一个精通于在特定视觉压缩范式下执行长上下文任务的专家模型。
性能评估与效果评估
Glyph 的性能令人印象深刻，在多个长上下文基准测试（如 LongBench, MRCR）上，它取得了与同等规模的先进纯文本 LLM（如 Qwen3-8B）相当甚至更好的性能。
- 性能与压缩：实现了 3-4倍 的 Token 压缩率，同时保持了与 SOTA 模型的竞争力。这意味着在相同的 Token 预算下，Glyph 可以处理3-4倍的原始文本。
- 效率提升：压缩带来了显著的速度提升。与纯文本的基线模型相比，Glyph 在128K长度的输入上实现了约 4.8倍 的预填充（Prefilling）加速和 4.4倍 的解码（Decoding）吞吐量提升，以及约 2倍 的 SFT 训练速度提升。
- 扩展性：通过8倍的极限压缩，一个128K上下文的 VLM 甚至可以处理 1M 级别的文本任务，并保持相当的性能。
参考资料
1、https://mp.weixin.qq.com/s/_TdyBmozqDeQWzRHzuU7UA
