基于概念的人工智能系统中人的不确定性
人机交互
2023-03-24 v1 人工智能
机器学习
摘要
将人置于回路中可减轻在安全风险关键场景中部署 AI 系统的风险（例如临床医生与医疗 AI 系统协作）。然而，缓解此类人-AI 交互中由人的错误与不确定性引起的风险是一个重要且研究不足的问题。本工作中，我们在基于概念的模型背景下研究人的不确定性，这是一类通过概念干预实现人类反馈的 AI 系统家族，其中专家干预与任务相关的人类可解释概念。该领域先前工作常假设人是始终确定且正确的神谕。然而，人类现实世界的决策易偶尔出错并存在不确定性。我们使用两个新颖数据集研究现有基于概念的模型如何处理来自人类的不确定性干预：UMNIST，一个基于 MNIST 数据集带有受控模拟不确定性的视觉数据集；以及 CUB-S，一个流行的 CUB 概念数据集的重新标注版本，带有来自人类的丰富、密集标注的软标签。我们表明，使用不确定的概念标签进行训练可帮助缓解基于概念的系统在处理不确定干预时的弱点。这些结果使我们识别出若干开放挑战，我们认为可通过未来关于构建交互式不确定性感知系统的多学科研究来解决。为促进进一步研究，我们发布了一个新的引出平台 UElic，以在协作预测任务中收集来自人类的不确定反馈。
引用
@article{arxiv.2303.12872,
title = {Human Uncertainty in Concept-Based AI Systems},
author = {Katherine M. Collins and Matthew Barker and Mateo Espinosa Zarlenga and Naveen Raman and Umang Bhatt and Mateja Jamnik and Ilia Sucholutsky and Adrian Weller and Krishnamurthy Dvijotham},
journal= {arXiv preprint arXiv:2303.12872},
year = {2023}
}