等参多项式功能网络
机器学习
2025-12-23 v2
摘要
神经功能网络（NFNs）因其广泛的应用，包括从数据隐式表示中提取信息、编辑网络权重以及评估政策等而日益受到关注。NFNs的关键设计原则是遵循输入神经网络结构中固有的置换和缩放对称性。最近的NFNs基于图基消息传递机制或参数共享机制实现置换和缩放等参合。然而，基于图的等参NFNs因高内存消耗和长运行时间而受到限制。另一方面，基于参数共享的NFNs虽然基于等参线性层，具有较低的内存消耗和更快的运行时间，但由于输入神经网络对称群的庞大大小，其表达性受到限制。因此，设计一种在保持低内存消耗和运行时间的同时保持表达性的置换和缩放等参NFNs仍是一个未解决的挑战。本文提出了一种新解决方案，即开发单项式矩阵群等参多项式NFN（MAGEP-NFN）。我们的做法遵循参数共享机制，但与前述工作不同，构建表示为输入权重多项式的非线性等参层。这种多项式表述使我们能够整合来自不同输入隐藏层的权重关系，从而在保持内存消耗和运行时间较低的同时增强模型的表达性，从而解决了上述挑战。我们提供的实证证据表明，MAGEP-NFN在与现有基线方法相比实现了具竞争力的性能和效率。
引用
@article{arxiv.2410.04213,
title = {Equivariant Polynomial Functional Networks},
author = {Thieu N. Vo and Viet-Hoang Tran and Tho Tran Huu and An Nguyen The and Thanh Tran and Minh-Khoi Nguyen-Nhat and Duy-Tung Pham and Tan Minh Nguyen},
journal= {arXiv preprint arXiv:2410.04213},
year = {2025}
}