论恰当信任的定义及其伴随工具

评估人-AI交互的效率具有挑战性，涉及主观与客观质量方面。随着对解释的人类体验的关注，解释方法的评估已变得大多主观，使比较评估几乎不可能且高度依赖于个体用户。然而，普遍认同解释质量的一个方面是用户能多有效地检测预测是否可信且正确，即解释能否提升用户对模型的恰当信任。本文从文献中的恰当信任定义出发，将其与模型性能评估比较，显示恰当信任与模型性能评估间的强烈相似性。论文的主要贡献是利用定义间的相似性评估恰当信任的新方法。论文提供了针对用户性能不同方面的若干直接评估方法，包括提出一种测量回归中不确定性与恰当信任的方法。