未知环境下动态 Vickrey-Clarke-Groves 机制的在线学习

我们考虑在未知环境中进行序列拍卖的在线动态机制设计问题，其中市场及因此而随卖家与竞投者交互而变化的竞投者价值随时间演化。我们将序列拍卖建模为一个无限期平均奖励马尔可夫决策过程 (MDP)。在每一轮中，卖家确定每个竞投者的分配方案并设定价格，而每个竞投者收到私人奖励并提交密封投标。表示底层市场的状态依据未知转移核演化，且无需周期性重置。我们首先将 Vickrey-Clarke-Groves (VCG) 机制扩展至序列拍卖，从而获得保留所需属性（效率、诚实性和个人合理性）的动态版本。随后聚焦于在线环境，发展出一种强化学习算法，使卖家学习底层 MDP 并实施一种接近动态 VCG 机制的方法。我们证明，所学机制大致满足效率、诚实性和个人合理性，并在各种 regret 概念上实现保证性能。