利用参数对称性提高优化学习效率
机器学习
2025-04-23 v1
摘要
我们分析了一种利用参数空间对称性来提高优化效率的学习型优化(L2O)算法。先前的工作表明，联合学习对称变换和局部更新可提高元优化器性能。支持这一结果，我们的理论分析表明，即使不识别最优群元素，该方法在局部上类似于牛顿法。我们进一步提供了一个示例，证明该算法在训练期间可证ано地学习正确的对称变换。为了实证评估L2O与传送(teleportation)的结合，我们引入了一个基准，分析其成功和失败案例，表明像动量等增强措施进一步提高了性能。我们的结果凸显了利用神经网络参数空间对称性来推动元优化潜力。
引用
@article{arxiv.2504.15399,
title = {Improving Learning to Optimize Using Parameter Symmetries},
author = {Guy Zamir and Aryan Dokania and Bo Zhao and Rose Yu},
journal= {arXiv preprint arXiv:2504.15399},
year = {2025}
}
备注
Accepted at the ICLR Workshop on Neural Network Weights as a New Data Modality 2025