用于学习神经网络等变表示的图神经网络
机器学习
2024-07-24 v3 人工智能
机器学习
摘要
处理其他神经网络参数的神经网络在隐式神经表示分类、神经网络权重生成及泛化误差预测等多个领域均有应用。然而，现有方法要么忽略了神经网络固有的置换对称性，要么依赖复杂的权重共享模式来实现等变性，同时忽视了网络架构本身的影响。在本工作中，我们提出将神经网络表示为参数的计算图，这使我们能够利用保持置换对称性的强大图神经网络与 Transformer。因此，我们的方法使得单一模型能够编码具有不同架构的神经计算图。我们在一系列广泛任务上展示了方法的有效性，包括隐式神经表示的分类与编辑、泛化性能预测及学习优化，同时持续优于当前最优方法。源代码已在 https://github.com/mkofinas/neural-graphs 开源。
引用
@article{arxiv.2403.12143,
title = {Graph Neural Networks for Learning Equivariant Representations of Neural Networks},
author = {Miltiadis Kofinas and Boris Knyazev and Yan Zhang and Yunlu Chen and Gertjan J. Burghouts and Efstratios Gavves and Cees G. M. Snoek and David W. Zhang},
journal= {arXiv preprint arXiv:2403.12143},
year = {2024}
}
备注
In ICLR 2024. Source code: https://github.com/mkofinas/neural-graphs