信任还是不信任回归器：回归预测可信度的估计与解释
人工智能
2021-07-29 v2
摘要
在人-AI混合系统中，用户需要在真实预测误差未知的情况下决定是否信任算法预测。为适配此类场景，我们提出 RETRO-VIZ，一种用于（i）估计与（ii）解释回归预测可信度的方法。它由 RETRO（对预测可信度的定量估计）和 VIZ（帮助用户识别预测可信度（缺失）原因的可视化解释）组成。我们发现，在 117 个实验设置中 RETRO 分数与预测误差呈负相关，表明 RETRO 提供了区分可信与不可信预测的有用度量。在一项有 41 名参与者的用户研究中，我们发现 VIZ 解释能帮助用户识别预测是否可信：平均而言，给定一对预测，95.1% 的参与者正确选择了更可信的预测。此外，平均 75.6% 的参与者能准确描述预测为何看似（不可）可信。最后，我们发现绝大多数用户主观上认为 RETRO-VIZ 是评估算法预测可信度的有用工具。
引用
@article{arxiv.2104.06982,
title = {To Trust or Not to Trust a Regressor: Estimating and Explaining Trustworthiness of Regression Predictions},
author = {Kim de Bie and Ana Lucic and Hinda Haned},
journal= {arXiv preprint arXiv:2104.06982},
year = {2021}
}
备注
Accepted to ICML 2021 Workshop on Human in the Loop Learning (HILL)