用于等变神经网络的李群分解
机器学习
2024-07-11 v2 机器学习
摘要
对几何变换的不变性与等变性已被证明是训练(卷积)神经网络模型时非常有用的归纳偏置,尤其在低数据情形下。大量工作聚焦于所采用对称群为紧群或阿贝尔群或二者兼具的情况。近期工作通过将变换类扩充至李群,主要借助其李代数以及群指数映射和对数映射进行了探索。此类方法的适用性受限于如下事实:视所关注群而定,指数映射可能非满射。当既非紧群也非阿贝尔群时还会遇到进一步限制。利用李群及其齐性空间的结构与几何,我们提出一个框架,可借此处理此类群,主要关注群与,以及它们作为仿射变换的表示。不变积分以及全局参数化通过分解为可分别处理的子群与子流形来实现。在此框架下,我们展示如何参数化卷积核以构建相对于仿射变换等变的模型。我们在基准仿射不变分类任务上评估了模型的鲁棒性与分布外泛化能力,优于先前方案。
引用
@article{arxiv.2310.11366,
title = {Lie Group Decompositions for Equivariant Neural Networks},
author = {Mircea Mironenco and Patrick Forré},
journal= {arXiv preprint arXiv:2310.11366},
year = {2024}
}
备注
Published at ICLR 2024. Code is available at https://github.com/mirceamironenco/rgenn