看图 AI 为了更快，可能不该太早删掉视觉信息

很多人使用看图 AI 时，第一反应是关注它答得准不准。但在工程上，另一个问题同样重要：它回答得快不快，显存占用高不高，能不能放进真实产品里。

视觉语言模型通常会把图片拆成大量视觉 token。图片越复杂，token 越多，模型在回答问题时的注意力计算和 KV-cache 显存压力就越大。所以很多研究会尝试减少视觉 token，让模型更快、更省。

arXiv 论文《Reroute, Don’t Remove: Recoverable Visual Token Routing for Vision-Language Models》讨论的正是这个问题。它提出的关键提醒是：为了提速，直接永久删除看似不重要的视觉 token，可能会太早丢掉后续推理需要的信息。

看图 AI 不是一次性“看完整张图”

人看图片时，会觉得自己是在看整张图。但视觉语言模型处理图片的方式更像是：先把图像切成许多信息块，再把这些信息块送进语言模型的推理流程。

这些信息块就是视觉 token。它们可能对应图像中的对象、局部纹理、空间位置、文字区域或其他视觉特征。模型回答“图里有什么”时，可能不需要所有 token；但回答“左下角那行小字写了什么”“红色物体旁边是什么”“哪个人拿着工具”时，细节就变得重要。

问题在于，视觉 token 很贵。论文摘要指出，VLM 会把图片投影成几百到几千个视觉 token，这让 decoder 推理在注意力计算和 KV-cache 显存上都变得昂贵。

于是，一个自然想法出现了：能不能只保留重要 token，把不重要的删掉？

直接删除 token 的风险：早期不重要，不代表后面不重要

很多视觉 token reduction 方法采用“rank-and-remove”思路：给 token 打分，保留高分 token，丢弃低分 token。这样做很直观，也能降低计算量。

但 Reroute 论文认为，这个动作有脆弱性。原因是视觉 token 的重要性可能会随着 decoder 深度变化。一个 token 在前面几层排名低，不代表它在后面回答具体问题时仍然无用。

这就像人读一张复杂图片。你一开始可能没注意角落里的小标志，但当问题变成“这个场景发生在哪里”时，角落标志突然变成关键证据。如果你在最开始就把它永久删掉，后面就没有机会再用它。

论文特别提到 grounding-sensitive queries，也就是需要图像定位和细节支撑的问题。这类问题更容易暴露“过早删除”的代价。

Reroute 的思路：不是删除，而是绕行

Reroute 的名字很直白：不要 remove，而是 reroute。

按论文描述，在每个路由阶段，部分被选中的视觉 token 会进入 decoder blocks 继续计算；被推迟的 token 不会永久删除，而是绕过当前阶段，并在下一次路由决策时重新进入候选池。

这带来一个重要变化：系统仍然可以减少当前阶段的计算，但保留“反悔空间”。如果某些 token 后面变得重要，它们还有机会重新参与判断。

论文还强调，Reroute 是 training-free plug-in。也就是说，它不是要求重新训练一个大模型，而是试图接在已有视觉 token reduction 方法上，复用已有注意力分数排序规则和阶段调度。

这类方法的价值不只在论文指标，也在工程直觉：压缩可以做，但不要把不可逆损失做得太早。

论文声称做了哪些验证

根据 arXiv 摘要与论文信息，论文把 Reroute 接到 FastV、PDrop 和 Nüwa 的不同变体上，并在 LLaVA-1.5 与 Qwen backbones 上评估。

论文声称，在激进减少视觉 token 的情况下，Reroute 改善了 grounding 表现，同时保持了一般视觉问答表现。

这里需要注意边界：这不是说所有视觉语言模型都已经解决了 token 压缩问题，也不是说 Reroute 一定适合所有产品。更准确的说法是，论文提供了一个方向：视觉 token reduction 不应该只被理解为不可恢复剪枝，也可以被设计成可恢复路由。

对 AI 产品团队有什么启发

第一，速度优化不能只看平均准确率。

如果一个视觉 AI 产品主要处理商品图、发票、截图、工业质检、医学影像、地图或表格，很多关键问题都依赖细节。平均 VQA 表现不错，不代表在关键小区域上可靠。

第二，压缩策略要和任务类型绑定。

如果任务只是粗略分类，激进压缩可能可以接受；如果任务需要定位、计数、读小字、比对关系，就要更保守。产品团队应该按任务分层，而不是给所有图片套同一套 token 削减策略。

第三，测试集要包含细节问题。

很多模型演示会问“图片中有什么”，但真实业务常常问“具体是哪一处”“哪个字段异常”“哪行金额不一致”。这些问题更能检验模型是否保留了关键视觉信息。

第四，优化要记录代价。

如果为了速度牺牲了细节能力，就应该明确写在产品边界里。否则用户会误以为“更快”只是纯收益，而不知道某些细节判断可能变弱。

对普通人的启发

普通用户不需要关心每个 token 怎么路由，但可以理解一个简单原则：AI 看图越快，不一定越细。

当你用多模态 AI 分析图片、截图、合同、发票、报表、UI 界面或医学资料时，不要只问宽泛问题。你可以追问：

• 图里最小的文字是什么？
• 左上角和右下角分别有什么？
• 哪个对象离目标最近？
• 这个结论对应图片里的哪一处？
• 如果放大某个区域，答案会不会改变？

这些问题能帮助你判断模型是真的看到了关键证据，还是只给出了大概印象。

Kunpeng AI 观察

Reroute 这篇论文的价值，不只是提出一种视觉 token 路由方法，而是提醒我们：AI 系统里的“优化”经常不是免费午餐。

为了更快，系统可能少算一些东西；为了更省显存，系统可能减少上下文；为了更自动化，系统可能扩大权限；为了更流畅，系统可能隐藏不确定性。每一种优化都有边界。

对企业 AI 落地来说，这类研究很重要。真正可用的 AI 产品，不只是模型回答漂亮，还要知道什么时候可以压缩、什么时候必须保留细节、什么时候需要让人复核、什么时候必须记录证据。

如果把这件事放到更大的 AI Search、Agent workflow 和内容安全视角里看，它也是同一个原则：不要太早丢掉后面可能需要的信息。无论是视觉 token、网页证据、工具日志还是人工反馈，系统都应该保留足够的恢复和复查空间。

参考来源

• arXiv: Reroute, Don’t Remove: Recoverable Visual Token Routing for Vision-Language Models
• arXiv HTML: Recoverable Visual Token Routing for Vision-Language Models
• GitHub: elmma/mllm-reroute