深度广义薛定谔桥
机器学习
2022-09-21 v1 计算机科学与博弈论
机器学习
最优化与控制
摘要
平均场博弈（MFG）是刻画个体智能体与大群体随机交互之集体行为的重要数学框架。本工作中，我们旨在求解一类具挑战性的 MFG，其中求解器可能无法获得这些交互偏好的可微性，且群体被严格要求精确收敛到某目标分布。尽管这些设定在实际中有充分动机，但其复杂性足以令大多数（深度）数值求解器失效。然而，我们证明薛定谔桥——作为一种熵正则化最优传输模型——可被推广至接受平均场结构，从而求解这些 MFG。这通过正向-反向随机微分方程理论实现，有趣的是，它导出了一个与时序差分学习结构类似的计算框架。由此，它开启了与深度强化学习的新算法联系，我们借此便利实际训练。我们展示了所提目标函数对平均场问题提供充要条件。我们的方法名为深度广义薛定谔桥（DeepGSB），不仅在求解经典群体导航 MFG 上超越先前方法，还能求解 1000 维观点去极化，树立了高维 MFG 最先进数值求解器的新标杆。我们的代码将发布于 https://github.com/ghliu/DeepGSB。
引用
@article{arxiv.2209.09893,
title = {Deep Generalized Schr\"odinger Bridge},
author = {Guan-Horng Liu and Tianrong Chen and Oswin So and Evangelos A. Theodorou},
journal= {arXiv preprint arXiv:2209.09893},
year = {2022}
}
备注
NeurIPS 2022