学习寻找证据:具有因果忠实性分析的可验证推理智能体
人工智能
2025-11-04 v1 计算机视觉与模式识别
摘要
在医学等高风险领域中,AI模型的解释通常缺乏可验证性,这可能会阻碍信任。为了解决这个问题,我们提出了一个交互式智能体,它通过一系列可审计的动作生成解释。该智能体学习一种策略,以策略性地寻找外部视觉证据来支持其诊断推理。该策略通过强化学习进行优化,从而得到一个既高效又具有泛化能力的模型。我们的实验表明,这种基于动作的推理过程显著提高了校准精度,与无交互的基线相比,Brier分数降低了18%。为了验证智能体解释的忠实性,我们引入了一种因果干预方法。通过掩盖智能体选择使用的视觉证据,我们观察到其性能出现了可测量的下降(ΔBrier=+0.029),这证实了该证据是其决策过程不可或缺的一部分。我们的工作为构建具有可验证和忠实推理能力的AI系统提供了一个实用框架。
引用
@article{arxiv.2511.01425,
title = {Learning to Seek Evidence: A Verifiable Reasoning Agent with Causal Faithfulness Analysis},
author = {Yuhang Huang and Zekai Lin and Fan Zhong and Lei Liu},
journal= {arXiv preprint arXiv:2511.01425},
year = {2025}
}
备注
12 pages, 3 figures. Under review at the Conference on Computer Vision and Pattern Recognition (CVPR) 2026