置换等价权空间网络的表达力分析
机器学习
2026-02-03 v1
摘要
权空间学习研究直接作用于其他神经网络参数的神经网络结构。针对预训练模型日益增长的可用性，近期研究表明，权空间网络在广泛的任务中均表现有效。依赖于置换等价设计的SOTA权空间网络可能影响其表达力，从而亟需理论分析。重要的是，与其他结构化领域不同，权空间学习的目标是作用于权空间和函数空间的映射，这使得表达力分析尤为微妙。虽然已有少数工作提供部分表达力结果，但综合描述仍缺失。本文通过构建权空间网络表达力的系统理论来弥补这一空白。我们首先证明了所有主要置换等价网络在表达力上等价。随后，在对输入权重实施温和、自然假设的前提下，我们在权空间和函数空间均建立了普遍性，并描绘了普遍性不再成立的边缘情况 regime。综上，这些结果为权空间网络的表达力提供了强大且统一的基础。
引用
@article{arxiv.2602.01083,
title = {On the Expressive Power of Permutation-Equivariant Weight-Space Networks},
author = {Adir Dayan and Yam Eitan and Haggai Maron},
journal= {arXiv preprint arXiv:2602.01083},
year = {2026}
}