面向旋转等变几何优化的VectorAdam

Adam优化算法在机器学习乃至传统几何处理任务中的优化问题上已被证明极为有效。与此同时，等变方法的发展——其在旋转或其他变换作用下保持输出不变——已被证明对这些领域的几何问题至关重要。在本文中，我们观察到Adam——当被视为一个将初始条件映射到优化结果的函数时——由于按坐标的矩更新，对向量值参数并非旋转等变的。这在实际中导致了显著的伪影与偏差。我们提出以VectorAdam解决这一缺陷，这是一种简单修正，通过考虑优化变量的向量结构使Adam具有旋转等变性。我们在机器学习与传统几何优化问题上展示了该方法，表明等变VectorAdam在应用于向量值数据时解决了传统Adam的伪影与偏差，且收敛速度相当甚至更优。