隐形的串通

算法代理被广泛应用于包括线上零售和住宅租赁在内的众多竞争决策场景中。我们研究了在竞争代理采用多臂赌博机算法的情况下，算法串通的出现情况，将竞争建模为重复囚犯困境游戏。值得注意的是，本研究中的代理执行在线学习，既无游戏结构的先验模型，也不直接了解竞争对手的状态或行动，因此无法学习依赖这些因素的策略。尽管如此，这些无上下文的赌博机代理仍频繁学习出看似串通的行为，一种我们称之为“幼稚串通”的现象。我们的结果表明，幼稚串通的出现是否发生，严重取决于赌博机学习者所采用的行为策略。串通结果产生的机制是代理行动之间的同步性，其中同步性衡量代理播放相同动作的频率。我们证明，当两位代理都使用持续随机算法（包括不带 epsilon 衰减的 epsilon 贪婪算法）时，幼稚算法串通在长期内永远不会出现；当两位代理都使用贪婪近似算法时——这些算法在探索期具有随机性但在渐近上是确定性的——时，幼稚串通有时会出现；而当两位代理都使用确定性赌博机学习算法（如著名的上置置信界 UCB 系列算法）时，幼稚串通总是会出现的。我们指出了哪些市场和算法条件下可以和不能事先预测是否会发生串通的情形。我们的发现对多个政策具有启示意义：防止算法根据竞争对手价格来决定行动并不能预防算法串通，算法之间的对称性可能增加串通的潜力，而算法串通的出现是路径依赖的。