TREC 2024生物医学生成检索（BioGen）轨道概述
信息检索
2024-12-17 v2
摘要
随着大型语言模型（LLM）的发展，生物医学领域在生物医学问答、 lay language 生物医学文献摘要、临床笔记摘要等多个任务上取得了显著进展。然而，幻觉或虚构信息仍是使用LLM在生物医学及其他领域时的关键挑战。在高风险情境下（如医学问答、临床决策或评估生物医学研究），不准确的信息尤其危险。已有研究表明，LLM在 grounding 生成语句于可验证来源方面的能力在 lay-user-generated问题上表现显著下降，常常无法引用相关来源。这在寻求从研究中获得证据支持LLM声称的情况下尤其 problematic。不受支持的语句是影响LLM在可能影响健康的应用中的主要障碍。因此，需要在可靠来源中对生成语句进行 grounding 的方法，以及实用的评估方法，以克服这一障碍。为此，本文在TREC 2024的试点任务中引入了 reference attribution 作为缓解LLM生成虚构语句的手段。
引用
@article{arxiv.2411.18069,
title = {Overview of TREC 2024 Biomedical Generative Retrieval (BioGen) Track},
author = {Deepak Gupta and Dina Demner-Fushman and William Hersh and Steven Bedrick and Kirk Roberts},
journal= {arXiv preprint arXiv:2411.18069},
year = {2024}
}