专家负载至关重要：以高精度与低人工投入运行网络
人工智能
2023-10-13 v2 人机交互
摘要
在关键应用的人-AI 协作系统中，为确保最小误差，用户应基于模型置信度设定操作点，以决定何时将决策委派给人类专家。模型置信度低于操作点的样本将由专家手动分析以避免错误。此类系统唯有考虑两方面才真正有用：模型应仅对其准确的样本有信心，且委派给专家的样本数应最小化。后者对可用专家时间有限且昂贵的应用（如医疗）尤为关键。模型精度与委派给专家的样本数之间的权衡可用一条类似 ROC 曲线的曲线表示，我们称之为置信度操作特征（COC）曲线。本文主张深度神经网络训练应同时考虑精度与专家负载，并为此提出一种用于分类的新互补损失函数，最大化该 COC 曲线下面积。这同时促进网络精度提升与委派给人类的样本数减少。我们在多个计算机视觉与医学图像分类数据集上实验。结果表明，相较现有损失函数，所提损失提升了分类精度、减少了委派给专家的决策数，并实现了更好的分布外样本检测及相当的校准性能。
引用
@article{arxiv.2308.05035,
title = {Expert load matters: operating networks at high accuracy and low manual effort},
author = {Sara Sangalli and Ertunc Erdil and Ender Konukoglu},
journal= {arXiv preprint arXiv:2308.05035},
year = {2023}
}
备注
Accepted to the 37th Conference on Neural Information Processing Systems (NeurIPS 2023)