基于可控性视角的跟随正则化领袖学习者在博弈中的驾驭

遵循正则化领袖（FTRL）算法在博弈中越来越受欢迎，为每个代理人提供易于实现的方法，以及所有代理人的策略将收敛到某种平衡概念的理论保证（前提是所有代理人遵循适当的动力学）。然而，借助这些方法，每个代理人都会忽略博弈中的耦合，将其支付向量视为外生给定的。在本文中，我们从一个代理人（控制器）决定其混合策略的视角出发，而一个或多个其他代理人根据连续时间FTRL更新其混合策略。将学习者的动力学视为在单纯形或单纯形乘积的相对内部上演化的非线性控制系统，我们询问控制器是否仅凭其自身混合策略（而不修改博弈的支付结构）即可将学习者驾驭到目标状态。对于两人情况，我们提供一种基于完全混合中和控制器策略以及投影支付图秩条件的必要充分可控性标准。对于多学习者相互作用，我们给出两种充分可控性条件：一种基于统一中和，另一种基于周期漂移假设和李代数秩条件。我们在诸如石头-纸-剪刀以及与 Brockett 积分器相关的构造等经典示例中展示了这些结果。