由大型语言模型驱动的多智能体集团：用于缓解幻觉与高效心房颈动 annotation的ECG报告
人工智能
2025-07-22 v3
摘要
本研究引入了一种由大型语言模型(LLM)驱动的多智能体集团方法，以应对幻觉和数据标注等挑战，尤其是在大规模临床瞭望(EHR)数据集中。手动标注此类数据集需要专业知识，且工作量大、耗时、昂贵且容易出错。为克服这一瓶颈，我们开发了一种LLM集团方法，并在两个实际任务中展示了其有效性：(1)在MIMIC-IV数据集中对大规模未标注的ECG数据集进行标注；(2)从EHR的临床笔记中识别健康社会决定因素(SDOH)。在权衡收益与成本后，我们选取了一组表现良好的多样化开源LLM。我们将每个LLM的预测视为一次投票，并应用多数投票机制（最小获胜阈值）进行集团。我们为EHR数据标注任务实现了一个LLM集团应用。通过使用LLM集团和自然语言处理，我们以约98.2%的估计准确率标注了623,566篇ECG报告。我们将LLM集团方法应用于从MIMIC-IV的社会史部分识别SDOH，也取得了竞争性能。我们的实验表明，LLM集团可以超越单个LLM，甚至是最佳商业LLM，同时显著减少幻觉错误。研究结果表明:(1)LLM集团方法显著减少了大规模EHR数据标注所需的时间和 effort，实现了高准确率和高质量的自动化；(2)该方法在其他文本数据标注任务中表现出良好的概括性，如SDOH识别；(3)一组多样化LLM的集团可以超过或匹配最佳单个LLM的性能；(4)该集团方法显著减少了幻觉错误。该方法为数据标注挑战提供了可扩展且高效的解决方案。
引用
@article{arxiv.2410.16543,
title = {Large Language Models Powered Multiagent Ensemble for Mitigating Hallucination and Efficient Atrial Fibrillation Annotation of ECG Reports},
author = {Jingwei Huang and Kuroush Nezafati and Ismael Villanueva-Miranda and Zifan Gu and Yueshuang Xu and Ann Marie Navar and Tingyi Wanyan and Qin Zhou and Bo Yao and Ruichen Rong and Xiaowei Zhan and Guanghua Xiao and Eric D. Peterson and Donghan M. Yang and Wenqi Shi and Yang Xie},
journal= {arXiv preprint arXiv:2410.16543},
year = {2025}
}
备注
36 pages, 12 figures and 1 table