基于参数规范化的对称感知图元网络自编码器：通过模型合并实现参数规范化
机器学习
2025-11-18 v1 人工智能
摘要
神经网络参数化存在内在对称性，导致损失景观中存在多个等价最小值。规模图元网络（Scale Graph Metanetworks，ScaleGMNs）通过提出一种对置于置换和参数缩放变换等价的架构，显式地利用这些对称性。Ainsworth 等人（2023）的工作通过计算密集的组合分配问题来处理置换对称性，表明仅利用置换对称性即可将网络映射到共享损失池中。在本工作中，我们扩展了该方法，同时也纳入缩放对称性，提出一种基于 ScaleGMNs 的自编码器框架，用作不变编码器。实验结果表明，我们的方法在置换和缩放对称性下均能对隐式神经表征（INRs）和卷积神经网络（CNNs）进行对齐，而无需显式求解分配问题。这种方法确保相似网络自然收敛于同一损失池中，从而促进模型合并，即在避免高损失区域的前提下实现平滑线性插值。代码已发布于我们的 GitHub 仓库。
引用
@article{arxiv.2511.12601,
title = {Symmetry-Aware Graph Metanetwork Autoencoders: Model Merging through Parameter Canonicalization},
author = {Odysseas Boufalis and Jorge Carrasco-Pollo and Joshua Rosenthal and Eduardo Terres-Caballero and Alejandro García-Castellanos},
journal= {arXiv preprint arXiv:2511.12601},
year = {2025}
}