超越完美分数的可信机器学习中的反证法

机器学习（ML）模型在新兴的生物医学预测任务中显示出强大的前景，但关于可信度的疑虑已阻碍了其临床应用。特别是，难以确定模型是否依赖于真实的临床线索，还是依赖于数据中的虚假层次相关性。本文引入一种简单且广泛适用的可信度测试，基于随机反证法。我们的方法不仅展示高的测试性能，还训练和测试于基于潜在结果框架轻微置换的虚假标签。一个真正可信的模型在此类标签置换下应表现出色；若在真实标签和置换标签之间的性能相当，则表明模型存在过拟合、捷径学习或数据泄露。我们的方法通过可解释的 Fisher 风格 p 值来量化此行为，这些 p 值在医学和生命科学领域的专家中广为人知。我们在多个新的细菌诊断任务上对方法进行评估，以分离学习真实因果关系与由数据工伤或统计偶然事件驱动的模型。我们的工作为 ML 与生命科学研究社区之间建立严谨性和信任的基础，使 ML 模型步步逼近临床应用。