LLM 能处理图表吗？为图表问答与摘要设计少样本提示
计算与语言
2023-12-19 v1
摘要
最近提出了许多任务来促进对图表的便捷访问，例如图表问答和摘要。解决这些任务的主流范式是在任务数据上微调预训练模型。然而，这种方法不仅昂贵，而且难以泛化到未见任务。另一方面，大型语言模型（LLM）通过零样本或少样本提示展现了对未见任务的出色泛化能力。然而，将它们应用于图表相关任务并非易事，因为这些任务通常不仅需要考虑底层数据，还需要考虑图表图像中的视觉特征。我们提出了 PromptChart，一个使用 LLM 处理图表相关应用的多模态少样本提示框架。通过仔细分析这些任务，我们为每个任务提出了一组提示准则，以从 LLM 中激发最佳的少样本性能。我们进一步提出了一种将视觉信息注入提示的策略。我们在三个不同的图表相关信息消费任务上的实验表明，通过适当设计的提示，LLM 可以在基准测试中表现出色，达到 SOTA。
引用
@article{arxiv.2312.10610,
title = {Do LLMs Work on Charts? Designing Few-Shot Prompts for Chart Question Answering and Summarization},
author = {Xuan Long Do and Mohammad Hassanpour and Ahmed Masry and Parsa Kavehzadeh and Enamul Hoque and Shafiq Joty},
journal= {arXiv preprint arXiv:2312.10610},
year = {2023}
}
备注
23 pages