中文

何时双列表胜单列表?联合决策中的收益与危害

机器学习 2024-02-27 v3 计算机与社会 人机交互

摘要

历史上,机器学习研究大多只关注算法自身的性能,但近来更多注意力集中于优化人与算法的联合性能。在此,我们分析一种特定的人-算法协作场景:算法可访问包含 nn 个条目的集合,并向人类呈现大小为 kk 的子集,人类从这 kk 个条目中选出最终条目。该场景可建模内容推荐、路径规划或任意类型的标注任务。由于人类与算法对条目真实排序均具有不完美、含噪的信息,关键问题在于:哪个 kk 值能最大化最终选中最优条目的概率?当 k=1k=1 时,性能由算法单独作用达到最优;当 k=nk=n 时,由人类单独作用达到最优。令人惊讶的是,我们证明对于多种噪声模型,最优设置为 k[2,n1]k \in [2, n-1]——即即便人类与算法单独使用时精度相当,协作也存在严格的收益。我们在 Mallows 模型上从理论上、在噪声排列的随机效用模型(Random Utilities models)上从实验上证明了这一点。然而,当人类锚定于算法所呈现的排序时,这一模式发生反转——联合系统的性能总是严格更差。我们将这些结果扩展到人类与算法精度水平不同的情况,表明总存在某些区间使得更精确的智能体能从与较不精确的智能体协作中严格获益,但这些区间在人类与算法精度之间是非对称的。

关键词

引用

@article{arxiv.2308.11721,
  title  = {When Are Two Lists Better than One?: Benefits and Harms in Joint Decision-making},
  author = {Kate Donahue and Sreenivas Gollapudi and Kostas Kollias},
  journal= {arXiv preprint arXiv:2308.11721},
  year   = {2024}
}