级联！人在回路中的缺陷会增加推荐系统失败的风险
信息检索
2025-09-26 v2 计算机与社会
摘要
推荐系统是当今最常部署的系统之一。针对AI驱动的推荐系统的系统设计方法，成功地敦促推荐系统开发者遵循更有意识的数据收集、管理和处理流程。“人在回路”范式也被广泛采用，主要是为了解决问责问题。然而，在本文中，我们持这样的观点：推荐系统设计中的人类监督也带来了尚未被充分描述的新风险。这些风险是由此类系统经常部署的信息环境“共同决定”的。此外，关于“人在回路”实践在提供对其他AI系统有意义监督方面的不足的新认识表明，它们可能也不足以实现对社会负责的推荐。我们回顾了人类监督的局限性如何增加特定类型失败（即“级联”或“复合”失败）的可能性。然后，我们简要探讨了三种常见部署环境的独特动态如何使回路中的人更有可能在其监督职责上失败。最后，我们提出两点建议。
引用
@article{arxiv.2509.20099,
title = {Cascade! Human in the loop shortcomings can increase the risk of failures in recommender systems},
author = {Wm. Matthew Kennedy and Nishanshi Shukla and Cigdem Patlak and Blake Chambers and Theodora Skeadas and Tuesday and Kingsley Owadara and Aayush Dhanotiya},
journal= {arXiv preprint arXiv:2509.20099},
year = {2025}
}