问答中的上下文过滤与奖励建模
计算与语言
2024-12-17 v1
摘要
自然语言处理中的问答（QA）任务是在检索系统检索到的相关上下文中找到查询的答案。然而，这些上下文中相关和不相关信息的混合可能会阻碍QA任务的性能提升。为了解决这个问题，我们引入了一种上下文过滤方法，通过奖励建模去除不重要的细节，总结关键内容。该方法在摘要模型训练期间强调保留重要数据，同时省略无关数据。我们提供了一个框架，通过从数据集对中辨别有用信息来开发高效的QA模型，无需昂贵的人工评估。此外，我们表明，我们的方法可以显著优于基线，如我们提出的令牌效率度量EM Per Token（EPT）指标提高了6.8倍所证明，这表明在低资源设置下令牌效率显著提升。
引用
@article{arxiv.2412.11707,
title = {Context Filtering with Reward Modeling in Question Answering},
author = {Sangryul Kim and James Thorne},
journal= {arXiv preprint arXiv:2412.11707},
year = {2024}
}
备注
Accepted Main Conference at COLING 2025