置信度与解释对AI辅助决策中准确性与信任校准的影响
人工智能
2020-01-08 v1 人机交互
摘要
如今，AI正日益被用于协助人类专家在高风险场景中决策。此类场景中，完全自动化常不可取，不仅因结果意义重大，也因人类专家能借其领域知识补充模型之所长以确保任务成功。我们称这些场景为AI辅助决策，人类与AI的个体优势在此结合以优化联合决策结果。其成功关键在于逐案适当地校准人类对AI的信任；知晓何时信任或怀疑AI使人类专家能恰当运用其知识，从而在模型可能表现不佳的案例中改善决策结果。本研究以人类与AI单独表现相当时为例进行AI辅助决策案例研究，探讨揭示案例特定模型信息的特征能否校准信任并改善人机联合表现。具体地，我们研究展示置信度分数与对特定预测的局部解释之效应。通过两项人类实验，我们表明置信度分数可帮助校准人们对AI模型的信任，但仅信任校准不足以改善AI辅助决策，其还可能取决于人类能否引入足够独特知识以补充AI之误。我们也强调将局部解释用于AI辅助决策场景的问题，并邀请研究社群探索新的可解释性方法以校准人类对AI的信任。
引用
@article{arxiv.2001.02114,
title = {Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making},
author = {Yunfeng Zhang and Q. Vera Liao and Rachel K. E. Bellamy},
journal= {arXiv preprint arXiv:2001.02114},
year = {2020}
}