ChartAttack：测试 LLM 在图表生成中面对恶意提示的脆弱性
计算与语言
2026-03-26 v2
摘要
多模态大语言模型 越来越多地用于从数据表中自动生成图表，实现了高效的数据分析和报告，但也引入了新的滥用风险。在这项工作中，我们引入了 ChartAttack，一个用于评估 MLLM 如何被滥用以大规模生成误导性图表的新框架。ChartAttack 将误导因素注入图表设计中，旨在诱发对底层数据的错误解读。此外，我们创建了 AttackViz，一个图表问答 (QA) 数据集，其中每个（图表规范，QA）对都标记了有效的误导因素及其诱发的错误答案。ChartAttack 显著降低了 QA 性能，使 MLLM 在领域内和跨领域的准确率分别下降了 17.2 和 11.9 个百分点。初步的人类实验结果（样本量有限）表明准确率下降了 20.2 个百分点。最后，我们证明了 AttackViz 可用于微调 MLLM，以提高其对误导性图表的鲁棒性。我们的发现突出了在基于 MLLM 的图表生成系统的设计、评估和部署中考虑鲁棒性和安全性的迫切需要。我们公开了我们的代码和数据。
引用
@article{arxiv.2601.12983,
title = {ChartAttack: Testing the Vulnerability of LLMs to Malicious Prompting in Chart Generation},
author = {Jesus-German Ortiz-Barajas and Jonathan Tonglet and Vivek Gupta and Iryna Gurevych},
journal= {arXiv preprint arXiv:2601.12983},
year = {2026}
}