基于 Transformer 的学习型优化

我们提出一种学习型优化的新方法,用神经网络表示优化器更新步的计算。随后通过在一组优化任务上训练来学习优化器参数,目标是高效执行最小化。我们的创新是受经典 BFGS 算法启发、用于学习型优化器的新型神经网络架构 Optimus。如同 BFGS,我们估计一个作为秩一更新之和的预条件矩阵,但使用基于 Transformer 的神经网络联合预测这些更新及步长与方向。与若干近期基于学习型优化的方法不同,我们的公式允许对目标问题参数空间各维度间进行条件化,同时无需重新训练即可应用于可变维度的优化任务。我们在由传统用于评估优化算法的目标函数构成的基准以及基于物理的关节化三维人体运动视觉重建真实任务上展示了我们方法的优势。