ChatBCG:AI能读懂你的幻灯片吗?
计算机视觉与模式识别
2024-07-19 v1 人工智能
摘要
像GPT4o和Gemini Flash这样的多模态模型在推理和摘要任务上表现出色,接近人类水平。然而,我们发现,当被要求执行非常具体的“阅读和估计”任务时,尤其是在商业幻灯片中的可视化图表背景下,这些模型的表现不如人类。本文评估了GPT 4o和Gemini Flash-1.5在回答关于标注图表(数据在图形上清晰标注)和未标注图表(数据未清晰标注,必须从X轴和Y轴推断)上数据的直接问题时的准确性。我们得出结论,如果幻灯片包含任何复杂或未标注的图表,这些模型目前无法端到端地准确阅读整个幻灯片。即使用户创建了一个仅包含标注图表的幻灯片,模型也只能端到端地完美阅读15个标注图表中的7-8个。完整的幻灯片图表列表请访问https://www.repromptai.com/chat_bcg。
引用
@article{arxiv.2407.12875,
title = {ChatBCG: Can AI Read Your Slide Deck?},
author = {Nikita Singh and Rob Balian and Lukas Martinelli},
journal= {arXiv preprint arXiv:2407.12875},
year = {2024}
}
备注
for full list of figures visit https://www.repromptai.com/chat_bcg