利用可靠且时间感知的证据检索改进健康问答
计算与语言
2024-04-15 v1 人工智能
信息检索
摘要
在当今的数字世界中,在互联网上寻求健康问题的答案是一种常见做法。然而,现有的问答(QA)系统通常依赖于使用预先选择和标注的证据文档,因此不足以解决新问题。我们的研究关注开放域 QA 设置,其关键挑战在于首先在大型知识库中发现相关证据。通过利用常见的检索后阅读 QA 流水线以及作为可信医学研究文档集合的 PubMed,我们回答了来自三个不同数据集的健康问题。我们修改了不同的检索设置以观察其对 QA 流水线性能的影响,包括检索文档的数量、句子选择过程、文章的发表年份及其被引次数。我们的结果表明,减少检索文档的数量并偏向于更近期且被引次数更高的文档,可将最终的 macro F1 分数提高达 10%。我们讨论了结果,突出了有趣的例子,并概述了未来研究的挑战,如处理证据分歧和制作用户友好的解释。
引用
@article{arxiv.2404.08359,
title = {Improving Health Question Answering with Reliable and Time-Aware Evidence Retrieval},
author = {Juraj Vladika and Florian Matthes},
journal= {arXiv preprint arXiv:2404.08359},
year = {2024}
}
备注
Accepted to NAACL 2024 (Findings)