LLM在多语言健康问题回答中的一致性研究
计算与语言
2025-01-27 v1 人工智能
人机交互
信息检索
摘要
可及且可靠的健康信息是公共卫生的关键，但线上健康资源随语言质量参差不齐，引发对大型语言模型（LLM）在跨语言健康咨询中一致性的担忧。本研究检验LLM在英、德、土、中四语下对健康问题回答的一致性。我们扩充HealthFC数据集，按疾病类型分类，并加入土语、中文翻译。结果显示回答间存在显著不一致，可能传播错误医疗信息。我们的主要贡献：1）具备疾病类别元信息的多语言健康询问数据集；2）一种新颖的基于提示的评估工作流程，实现跨语言子维度比较。我们的发现凸显部署LLM于多语言场景的挑战，强调需改进跨语言对齐以确保准确且公平的健康信息。
引用
@article{arxiv.2501.14719,
title = {Do LLMs Provide Consistent Answers to Health-Related Questions across Languages?},
author = {Ipek Baris Schlicht and Zhixue Zhao and Burcu Sayin and Lucie Flek and Paolo Rosso},
journal= {arXiv preprint arXiv:2501.14719},
year = {2025}
}
备注
9 pages. Short paper appeared at 47th European Conference on Information Retrieval (ECIR 2025)