$C^2$: 可扩展的 LLM 图表自动反馈框架
机器学习
2025-02-13 v7 人工智能
计算与语言
摘要
使用大语言模型（LLM）生成高质量图表面临着数据有限、通过人工审核扩大规模成本高的显著挑战。难以获取且昂贵的「指令、数据、代码」三元组，其创建需要专业技术知识。为解决规模性挑战，我们引入一种无参考的自动反馈生成器，无需高成本的人工干预。我们的新型框架 C 由 (1) 自动反馈提供者（ChartAF）和 (2) 多样化、无参考数据集（ChartUIE-8K）组成。实验结果令人印象深刻：在首次实验中，74% 的受访者强烈偏好反馈后的结果，10% 的受访者偏好。第二次反馈后实验表明 ChartAF 在九个基线方法中均优于。此外，ChartUIE-8K 通过将查询、数据集和图表类型分别提高 5982%、1936% 和 91%，显著提升数据多样性。最后，针对 LLM 用户的研究显示，94% 的参与者偏好 ChartUIE-8K 的查询，93% 认为其符合真实世界应用场景。核心成果已开源于 chartsquared.github.io，附有丰富定性示例。
引用
@article{arxiv.2410.18652,
title = {$C^2$: Scalable Auto-Feedback for LLM-based Chart Generation},
author = {Woosung Koh and Jang Han Yoon and MinHyung Lee and Youngjin Song and Jaegwan Cho and Jaehyun Kang and Taehyeon Kim and Se-Young Yun and Youngjae Yu and Bongshin Lee},
journal= {arXiv preprint arXiv:2410.18652},
year = {2025}
}
备注
NAACL 2025 Main (Long)