超越行列到推理：面向多模态电子表格理解与编辑的智能体检索
计算与语言
2026-03-09 v1
摘要
多模态检索增强生成的最新进展使大语言模型能够分析包含数百万单元格、跨表格依赖关系和嵌入视觉元素的企业电子表格工作簿。然而，最先进的方法通过单次检索排除了关键上下文，通过压缩丢失了数据分辨率，并通过天真的全上下文注入超出了大语言模型的上下文窗口，从而阻碍了对复杂企业工作簿的可靠多步推理。我们引入超越行列到推理（BRTR），一个用于电子表格理解的多模态智能体框架，它将单次检索替换为迭代的工具调用循环，支持从复杂分析到结构化编辑的端到端Excel工作流。在超过200小时专家人工评估的支持下，BRTR在三个前沿电子表格理解基准测试中达到了最先进的性能，在FRTR-Bench上超过先前方法25个百分点，在SpreadsheetLLM上超过7个百分点，在FINCH上超过32个百分点。我们评估了五种多模态嵌入模型，确定NVIDIA NeMo Retriever 1B为混合表格和视觉数据的顶级模型，并变化了九种大语言模型。消融实验证实，规划器、检索和迭代推理各自贡献显著，成本分析显示GPT-5.2实现了最佳的效率-精度权衡。在所有评估中，BRTR通过显式的工具调用轨迹保持了完全的可审计性。
引用
@article{arxiv.2603.06503,
title = {Beyond Rows to Reasoning: Agentic Retrieval for Multimodal Spreadsheet Understanding and Editing},
author = {Anmol Gulati and Sahil Sen and Waqar Sarguroh and Kevin Paul},
journal= {arXiv preprint arXiv:2603.06503},
year = {2026}
}