CHAOS：基于异常样本的图表分析
计算机视觉与模式识别
2025-05-26 v1 计算与语言
摘要
图表在数据分析和可视化中发挥着关键作用，但实际应用中常常面临具有挑战性或噪声特征的图表。然而，“异常图表”即便是多模态大语言模型（MLLM）也面临重大挑战，这些模型在处理受扰动的图表时常常难以进行解读。本文介绍了 CHAOS（CHart Analysis with Outlier Samples），即一种系统评估 MLLM 针对图表扰动的鲁棒性基准测试。CHAOS 包含五类文本扰动和十类视觉扰动，每类扰动均提供三个严重程度等级（易、中、难），这些等级灵感来源于人类评估研究结果。该基准测试涵盖 13 种最先进的 MLLM，按训练范围和数据划分为通用型、文档型和图表专用型三组。综合分析涉及两个下游任务（ChartQA 和 Chart-to-Text）。大量实验和案例研究揭示了模型在不同图表扰动下的鲁棒性关键见解，旨在为图表理解领域的未来研究提供指导。数据和代码已公开 disponible at: http://huggingface.co/datasets/omoured/CHAOS。
引用
@article{arxiv.2505.17235,
title = {CHAOS: Chart Analysis with Outlier Samples},
author = {Omar Moured and Yufan Chen and Ruiping Liu and Simon Reiß and Philip Torr and Jiaming Zhang and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2505.17235},
year = {2025}
}
备注
Data and code are publicly available at: http://huggingface.co/datasets/omoured/CHAOS