MemOCR：面向高效长程推理的布局感知视觉记忆
机器学习
2026-01-30 v1 最优化与控制
摘要
长程智能体推理需要有效地将不断增长的交互历史压缩到有限的上下文窗口中。大多数现有记忆系统将历史序列化为文本，token级成本是均匀的且随长度线性增长，往往在低价值细节上浪费了稀缺的预算。为此，我们引入MemOCR，一种多模态记忆智能体，通过可视化布局分配信息密度，从而在紧张的上下文预算下提高长程推理效率。具体而言，MemOCR维护结构化的富文本记忆（例如标题、突出显示），并将其渲染为图像，以供智能体查询记忆，视觉地优先处理关键证据的同时激进地压缩辅助细节。为了确保在不同记忆预算下的鲁棒性，我们通过强化学习在预算感知目标下训练MemOCR，使其暴露于多种压缩水平。在长上下文多跳和单跳问答基准测试中，MemOCR优于强大的基于文本的基线，在极端预算下实现了更有效的上下文利用。
引用
@article{arxiv.2601.21467,
title = {A block-coordinate descent framework for non-convex composite optimization. Application to sparse precision matrix estimation},
author = {Guillaume Lauga},
journal= {arXiv preprint arXiv:2601.21467},
year = {2026}
}