利用参数对称性改善收敛与泛化

在许多神经网络中，参数的不同取值可能导致相同的损失值。参数空间对称性是改变模型参数但保持损失不变的变换。传送（teleportation）应用此类变换来加速优化。然而，该算法成功背后的确切机制尚不清晰。在本文中，我们表明传送不仅在短期内加速优化，而且总体上缩短了收敛时间。此外，传送到具有不同曲率的最小值可改善泛化，这表明最小值的曲率与泛化能力之间存在联系。最后，我们展示了将传送集成到广泛的优化算法和基于优化的元学习中可改善收敛。我们的结果展示了传送的通用性，并证明了在优化中融入对称性的潜力。