基于增强保形预测框架的医学多项选择题回答正确性覆盖评估
计算与语言
2025-05-09 v2
摘要
大语言模型（LLM）越来越多地被应用于医学问答（QA）场景。然而，LLM 会产生幻觉和非事实信息，削弱了其在高风险医疗任务中的可信度。保形预测（CP）提供了一个具有统计严谨性的框架，用于边际（平均）覆盖保证，但在医学问答领域的探索有限。本文提出了一种用于医学多项选择题回答（MCQA）任务的增强 CP 框架。通过将非一致性分数与正确选项的频率分数相关联，并利用自洽性，该框架解决了模型内部不透明性问题，并引入了带有单调损失函数的风险控制策略。在 MedMCQA、MedQA 和 MMLU 数据集上使用四个现成的 LLM 进行评估，所提出的方法在风险水平增加时满足指定的错误率保证，同时减小了平均预测集大小，为 LLM 提供了一种有前景的不确定性评估指标。
引用
@article{arxiv.2503.05505,
title = {Correctness Coverage Evaluation for Medical Multiple-Choice Question Answering Based on the Enhanced Conformal Prediction Framework},
author = {Yusong Ke and Hongru Lin and Yuting Ruan and Junya Tang and Li Li},
journal= {arXiv preprint arXiv:2503.05505},
year = {2025}
}
备注
Published by Mathematics