预测集在人-AI团队中的效用
人工智能
2022-05-27 v2 人机交互
摘要
关于人-AI团队的研究通常向专家提供单一标签，这忽略了模型推荐中的不确定性。保角预测（Conformal Prediction, CP）是一条成熟的研究路线，专注于构建具有理论依据且经过校准的预测集，其中可能包含多个标签。我们探究此类预测集如何影响人-AI团队中专家的决策。我们对人类受试者的评估发现，集合值预测对专家有积极影响。然而，我们注意到 CP 提供的预测集可能非常大，从而导致无帮助的 AI 助手。为缓解此问题，我们引入 D-CP，一种对部分样本执行 CP 并推迟给专家的方法。我们证明 D-CP 能够减小非推迟样本的预测集大小。我们展示了 D-CP 在定量实验和人类受试者实验（）中的表现。我们的结果表明，与仅显示 top-1 预测相比，CP 预测集改善了人-AI团队表现，且专家认为 D-CP 预测集比 CP 预测集更有用。
引用
@article{arxiv.2205.01411,
title = {On the Utility of Prediction Sets in Human-AI Teams},
author = {Varun Babbar and Umang Bhatt and Adrian Weller},
journal= {arXiv preprint arXiv:2205.01411},
year = {2022}
}
备注
Accepted at IJCAI 2022