单项矩阵群等价神经功能网络
机器学习
2025-03-14 v3
摘要
神经功能网络（NFNs）因其在预测网络泛化性、网络编辑以及分类隐式神经表征等方面的多样化应用而近期受到广泛关注。以往的NFN设计往往依赖于神经网络权重中的置换对称性，这种对称性传统上源于隐藏层神经元排列顺序的无序性。然而，这些设计未能考虑ReLU网络的权重缩放对称性以及sin或Tanh网络的权重符号翻转对称性。本文将从置换矩阵群扩展到单项矩阵群，对网络权重上的群作用进行研究，方法是通过设计相应的等变层和不变层来编码这些缩放/符号翻转对称性。我们将新的NFN系列称为单项矩阵群等价神经功能网络（Monomial-NFN）。由于对称性的扩展，Monomial-NFN相较于文献中现有的基准NFN具有更少的独立可训练参数，从而提升了模型效率。此外，对于全连接和卷积神经网络，我们理论上证明了所有作用于权重空间且使这些网络保持不变的群都是单项矩阵群的某些子群。我们提供的实证结果表明，本模型在现有基准模型之上具有显著优势，实现了竞争性能和效率。
引用
@article{arxiv.2409.11697,
title = {Monomial Matrix Group Equivariant Neural Functional Networks},
author = {Viet-Hoang Tran and Thieu N. Vo and Tho H. Tran and An T. Nguyen and Tan M. Nguyen},
journal= {arXiv preprint arXiv:2409.11697},
year = {2025}
}
备注
10 pages in the main text. Published at NeurIPS 2024. The code is available at https://github.com/MathematicalAI-NUS/Monomial-NFN