评估搜索引擎与大语言模型用于回答健康问题
信息检索
2025-03-07 v3 人工智能
摘要
搜索引擎（search engines, SEs）一直是信息检索的主要工具，但新的大语言模型（Large Language Models, LLMs）正在作为强大的替代品涌现，尤其在问答任务中。本研究比较了四款流行的 SEs、七个 LLMs 以及检索增强（retrieval-augmented generation, RAG）变体在回答来自 TREC Health Misinformation（HM）Track 的 150 个健康相关问题时的性能。结果表明，SEs 在 50% 到 70% 的问题中能够正确回答，往往受限于许多检索结果未针对健康问题。LLMs 能正确回答约 80% 的问题，尽管其性能对输入提示词（input prompts）较为敏感。RAG 方法显著提升了较小的 LLMs 的效果，通过整合检索证据将准确率提升最高可达 30%。
关键词
引用
@article{arxiv.2407.12468,
title = {Evaluating Search Engines and Large Language Models for Answering Health Questions},
author = {Marcos Fernández-Pichel and Juan C. Pichel and David E. Losada},
journal= {arXiv preprint arXiv:2407.12468},
year = {2025}
}