多损失优化中全局收敛的不可能性

在温和正则性条件下，基于梯度的方法在单损失设定下全局收敛到临界点。已知当转向多损失优化时，这对朴素梯度下降不再成立，但我们能否期望构建具有全局保证的某算法？我们通过证明任何算法都无法同时具备理想的收敛性质，负面地解决了这一开放问题。我们的结果更多关乎不存在满意结局的博弈之存在性，而非算法本身。更明确地说，我们构造了一个具有零和交互的两人博弈，其损失均既强制又解析，但其唯一的同步临界点是一个严格极大值。因此任何被定义为避开严格极大值的“合理”算法都将无法收敛。这与单损失根本不同，在单损失中强制性蕴含全局极小值的存在。此外，我们证明广泛存在的基于梯度的方法在构造的零和博弈中，对适当小的学习率，其迭代几乎必然有界但不收敛。然而，此类行为是否会出现在 ML 从业者关注的高维博弈（如 GANs 或多智能体 RL）中，仍是一个开放问题。