G-RepsNet: 用于任意矩阵群的快速通用等变网络构造
机器学习
2024-02-26 v1
摘要
Group equivariance 是一种在广泛深度学习任务中有用的强归纳偏置。然而, 为一般群和域构造高效等变网络并不容易。Finzi 等人 (2021) 的近期工作直接求解任意矩阵群的等变约束以获得等变 MLP (EMLP), 但这种方法在规模方面不表现良好, 而规模在深度学习中至关重要。我们引入 Group Representation Networks (G-RepsNets), 一种用于任意矩阵群的轻量级等变网络, 其特征通过张量多项式表示。我们设计的关键直觉是, 在神经网络隐藏层中使用张量表示并配合简单低成本的张量运算可导致具有表达力的通用等变网络。我们发现 G-RepsNet 在多个具有群对称性的任务上与 EMLP 相当, 包括 O(5), O(1, 3) 和 O(3), 数据类型为标量、向量和二阶张量。在图像分类任务中, 我们发现使用二阶表示的 G-RepsNet 在相当且常常超过诸如 GCNNs (Cohen & Welling, 2016a) 和 E(2)-CNNs (Weiler & Cesa, 2019) 等高级 SOTA 等变模型时表现出色。为了进一步说明我们方法的通用性, 我们展示 G-RepsNet 在 N-body 预测和求解 PDE 时分别相当于 G-FNO (Helwig 等, 2023) 和 EGNN (Satorras 等, 2021), 同时保持高效。
引用
@article{arxiv.2402.15413,
title = {G-RepsNet: A Fast and General Construction of Equivariant Networks for Arbitrary Matrix Groups},
author = {Sourya Basu and Suhas Lohit and Matthew Brand},
journal= {arXiv preprint arXiv:2402.15413},
year = {2024}
}