ChartGaze：基于眼动引导注意力细化提升LVMs对图表的理解
计算与语言
2025-09-17 v1 计算机视觉与模式识别
机器学习
摘要
图表是一种重要的视觉媒介，用于传达和表示信息。虽然大型视觉-语言模型(LVM)在图表问答(CQA)方面取得了进展，但该任务仍具有挑战性，特别是当模型注意力集中在无关区域时。在本工作中，我们提出ChartGaze，这是一个新的眼动数据集，捕获人类在图表推理任务中的眼动模式。通过系统比较人类和模型的注意力，我们发现LVM往往与人类眼动不一致，导致可解释性和准确性下降。为此，我们提出了一种基于人类注视的注意力细化方法，将图像-文本注意力与人类注视对齐。我们的方法在答案准确性和注意力对齐方面均取得改进，在多个模型上实现了最高可达2.56个百分点的提升。这些结果表明，融入人类眼动具有望子成龙的前景，可提升图表专注LVMs的推理质量和可解释性。
引用
@article{arxiv.2509.13282,
title = {ChartGaze: Enhancing Chart Understanding in LVLMs with Eye-Tracking Guided Attention Refinement},
author = {Ali Salamatian and Amirhossein Abaskohi and Wan-Cyuan Fan and Mir Rayat Imtiaz Hossain and Leonid Sigal and Giuseppe Carenini},
journal= {arXiv preprint arXiv:2509.13282},
year = {2025}
}
备注
EMNLP 2025