对称感知完全摊销优化与尺度等变图元网络
人工智能
2025-10-10 v1
摘要
摊销优化通过学习利用问题实例间共享结构的映射来加速相关优化问题的求解。我们探索了尺度等变图元网络（ScaleGMNs）在此目的中的应用。通过直接在权重空间操作，ScaleGMNs 实现了对现有模型的单次微调，减少了迭代优化的需求。我们从经验上证明了该方法的有效性，并提供了一个理论结果：由缩放对称性诱导的规范自由度在卷积神经网络中严格小于在多层感知器中。这一洞察有助于解释我们工作中以及 Kalogeropoulos 等人（2024）工作中观察到的架构性能差异。总体而言，我们的结果强调了对称感知元网络作为高效且可泛化的神经网络优化方法的潜力。开源代码：https://github.com/daniuyter/scalegmn_amortization
引用
@article{arxiv.2510.08300,
title = {Symmetry-Aware Fully-Amortized Optimization with Scale Equivariant Graph Metanetworks},
author = {Bart Kuipers and Freek Byrman and Daniel Uyterlinde and Alejandro García-Castellanos},
journal= {arXiv preprint arXiv:2510.08300},
year = {2025}
}