SportsMetrics：融合文本与数值数据以理解LLM中的信息融合
计算与语言
2024-06-18 v2 人工智能
摘要
大型语言模型在整合各种数据类型（如文本文档和数据库记录）以进行高级分析方面具有巨大潜力。然而，融合文本和数值数据带来了巨大挑战。LLM需要处理和交叉引用实体与数字，处理数据不一致和冗余，并发展规划能力，例如构建工作记忆以管理复杂数据查询。在本文中，我们引入了四个以体育数据分析为中心的新任务，以评估LLM的数值推理和信息融合能力。这些任务涉及向LLM提供详细的、逐回合的体育比赛描述，然后以对抗性场景挑战它们，如新比赛规则、更长持续时间、打乱叙述以及分析比赛摘要中的关键统计数据。我们在NBA和NFL比赛上进行了大量实验，以评估LLM在这些任务上的表现。我们的基准SportsMetrics引入了一种评估LLM数值推理和融合技能的新机制。
引用
@article{arxiv.2402.10979,
title = {SportsMetrics: Blending Text and Numerical Data to Understand Information Fusion in LLMs},
author = {Yebowen Hu and Kaiqiang Song and Sangwoo Cho and Xiaoyang Wang and Hassan Foroosh and Dong Yu and Fei Liu},
journal= {arXiv preprint arXiv:2402.10979},
year = {2024}
}
备注
ACL 2024 Long Paper