利用元数据和幻觉信号预测 LLM 在口腔修复学中的正确性
机器学习
2025-12-30 v1 人工智能
摘要
大型语言模型 (LLM) 正在越来越多地被应用于医疗保健和医学教育等高风险领域，其中生成事实错误（即幻觉）信息的风险是一个主要关切。尽管已对检测和缓解此类幻觉的努力取得了显著进展，但预测 LLM 回答是否正确仍是一个关键且尚未充分探索的问题。本研究针对一组用于口腔修复学考试的多选题，考察了通用模型 (GPT-4o) 和推理导向模型 (OSS-120B) 的正确性预测可行性。我们利用三种不同的提示策略中的元数据和幻觉信号，为每个（模型、提示）组合构建正确性预测器。我们的发现表明，这种基于元数据的ethods 方法可将准确率提高最高可达 +7.14%，并相对于假设所有答案都正确的基线实现 83.12% 的精确率。我们进一步表明，尽管实际幻觉是判断错误性的强指示器，但仅凭元数据信号并不足以可靠预测幻觉。最后，我们揭示了尽管提示策略不影响整体准确率，但显著改变模型的内部行为及其元数据的预测效用。这些结果为开发 LLM 的可靠性信号提供了有前景的方向，但也表明本文所探讨的方法尚不够稳健，无法用于关键的高风险部署场景。
引用
@article{arxiv.2512.22508,
title = {Predicting LLM Correctness in Prosthodontics Using Metadata and Hallucination Signals},
author = {Lucky Susanto and Anasta Pranawijayana and Cortino Sukotjo and Soni Prasad and Derry Wijaya},
journal= {arXiv preprint arXiv:2512.22508},
year = {2025}
}
备注
Accepted as a Short Paper at HEALTHINF2026