中文

超越自洽性:集成推理提升 LLM 在癌症分期中的一致性与准确性

计算与语言 2024-08-30 v1 人工智能

摘要

大型语言模型(LLMs)的进步促进了其在医疗保健领域的应用,该领域的重要临床信息通常包含在非结构化笔记中。癌症分期状态可在临床报告中找到,但需要自然语言处理从非结构化文本中提取该状态。随着面向临床的LLMs的进步,无需在算法训练上投入大量精力即可提取此类状态大有希望。提示预训练LLMs以引发模型推理过程的方法(如思维链)可能有助于提高生成响应的可信度。使用自洽性可进一步提高模型性能,但通常会在多个推理路径之间产生不一致的生成结果。在本研究中,我们提出了一种集成推理方法,旨在提高模型生成的一致性。使用一个开放获取的临床大型语言模型从真实世界的病理报告中确定病理癌症分期,我们表明集成推理方法能够同时提高LLM在确定癌症分期时的一致性和性能,从而证明了在可靠性至关重要的临床或其他领域使用这些模型的潜力。

关键词

引用

@article{arxiv.2404.13149,
  title  = {Beyond Self-Consistency: Ensemble Reasoning Boosts Consistency and Accuracy of LLMs in Cancer Staging},
  author = {Chia-Hsuan Chang and Mary M. Lucas and Yeawon Lee and Christopher C. Yang and Grace Lu-Yao},
  journal= {arXiv preprint arXiv:2404.13149},
  year   = {2024}
}

备注

accepted to the 22nd International Conference on Artificial Intelligence in Medicine (AIME'24)