表演性人机协作的动态模型：理论与实证证据

机器学习(ML)模型越来越多地应用于各种场景，从电子商务中的推荐系统到医疗保健中的诊断预测。在本文中，我们提出了一个新颖的动态框架，用于思考ML模型在表演性人机协作系统中的部署。在我们的框架中，ML推荐的引入改变了人类决策的数据生成过程，而人类决策只是真实情况的代理，并用于训练未来版本的模型。我们表明，这个动态过程原则上可以收敛到不同的稳定点，即ML模型和人类+ML系统具有相同性能的点。其中一些稳定点相对于实际真实情况是次优的。作为概念验证，我们进行了一项包含1408名参与者的实证用户研究。在研究中，人类借助不同性能的机器学习预测来解决背包问题的实例。这是一个理想的环境，因为我们可以识别实际真实情况，并评估ML推荐支持下的人类决策性能。我们发现，对于许多ML性能水平，人类可以改进ML预测。我们还发现，如果人类理性地遵循ML推荐，改进可能会更高。最后，我们测试了金钱激励是否能提高人类决策质量，但未发现任何积极效果。使用我们的实证数据近似我们的协作系统表明，学习过程将动态达到一个均衡性能，约为最大背包价值的92%。我们的结果对于在人类决策可能偏离无可争议的真实情况的环境中部署ML模型具有实际意义。