SUMMIR：面向LLM运动洞察的幻觉感知排序框架
信息检索
2026-04-08 v1 人工智能
摘要
随着线上体育新闻的快速扩张，提取赛前和赛后文章中的有意义洞察对于增强用户参与度和理解至关重要。本文解决了自动从赛前和赛后发布的文章中提取此类洞察的任务。我们构建了覆盖八百场比赛、涵盖四大运动（ cricket、足球、篮球和棒球）的7900篇新闻文章的数据集。为确保上下文相关性，我们采用两种验证管道，利用开源和专有大型语言模型（LLMs）。随后，我们利用多种最先进的LLMs（GPT-4o、Qwen2.5-72B-Instruct、Llama-3.3-70B-Instruct和Mixtral-8x7B-Instruct-v0.1）生成全面的洞察。对这些输出的事实准确性进行严格评估，采用基于FactScore的方法论，辅以SUMMAC（Summary Consistency）框架进行幻觉检测。最后，我们提出SUMMIR（Sentence Unified Multimetric Model for Importance Ranking），一个 novel 架构，用于基于用户特定兴趣对洞察进行排序。我们的结果表明，这种方法在生成高质量、相关洞察方面有效，同时也揭示了不同LLMs在事实一致性和有趣性方面的显著差异。本工作为从体育新闻内容中实现自动、可靠的洞察生成贡献了稳健的框架。源代码可在 https://github.com/nitish-iitp/SUMMIR 查看。
引用
@article{arxiv.2604.04947,
title = {SUMMIR: A Hallucination-Aware Framework for Ranking Sports Insights from LLMs},
author = {Nitish Kumar and Sannu Kumar and S Akash and Manish Gupta and Ankith Karat and Sriparna Saha},
journal= {arXiv preprint arXiv:2604.04947},
year = {2026}
}