尺度等变图元网络
机器学习
2024-10-31 v2
摘要
本文涉及一种新兴的机器学习范式：学习高阶函数，即输入本身是函数的函数，特别是当这些输入是神经网络时。随着处理神经网络的架构日益受到关注，一个反复出现的设计原则已渗透到该领域：遵循由神经网络连接结构产生的置换对称性。然而，这些是神经网络参数化中存在的唯一对称性吗？聚焦于大多数实际激活函数（例如sine, ReLU, tanh）对此问题给出了否定答案，并引出了有趣的新对称性，我们统称为尺度对称性，即权重和偏置的非零标量乘法和除法。在本工作中，我们提出了尺度等变图元网络(ScaleGMNs)，这是一个通过纳入尺度对称性来适应图元网络（消息传递）范式的框架，从而使神经元和边的表示对有效的尺度缩放是等变的。我们引入了新颖的构建模块（具有独立的技术兴趣），这些模块允许对单个标量乘子或其乘积具有等变性或不变性，并将它们用于ScaleGMN的所有组件中。此外，我们证明，在一定的表达性条件下，ScaleGMN可以模拟任何输入前馈神经网络的向前和向后传播。实验结果表明，我们的方法在多个数据集和激活函数上提升了最先进的性能，突显了尺度对称性作为神经网络处理归纳偏置的强大能力。源代码公开于https://github.com/jkalogero/scalegmn。
引用
@article{arxiv.2406.10685,
title = {Scale Equivariant Graph Metanetworks},
author = {Ioannis Kalogeropoulos and Giorgos Bouritsas and Yannis Panagakis},
journal= {arXiv preprint arXiv:2406.10685},
year = {2024}
}
备注
Accepted at NeurIPS 2024. 34 pages