设计闭环人机协同延迟流水线
人机交互
2022-02-11 v1 机器学习
摘要
在人机混合延迟框架中，分类器可以将不确定的案例延迟给人类决策者（后者本身也常常会犯错）。先前关于同时训练此类分类器和延迟模型的工作通常假设在训练期间可以访问一个预言机（oracle）以获取训练样本的真实类别标签，但在实践中往往不存在这样的预言机。相比之下，我们考虑一个“闭环”决策流水线，其中用于延迟决策的同一批易犯错的人类决策者也提供训练标签。如何利用不完美且有偏见的人类专家标签来训练一个公平且准确的延迟框架？我们的核心见解是，通过利用弱先验信息，我们可以将专家与输入样本进行匹配，以确保最终延迟框架的公平性和准确性，即使在使用不完美且有偏见的专家代替真实标签时也是如此。理论分析以及在两个任务上的评估均证明了我们方法的有效性。
引用
@article{arxiv.2202.04718,
title = {Designing Closed Human-in-the-loop Deferral Pipelines},
author = {Vijay Keswani and Matthew Lease and Krishnaram Kenthapadi},
journal= {arXiv preprint arXiv:2202.04718},
year = {2022}
}
备注
A shorter version of this paper appeared in BHCC 2021