探究 ReLU 网络如何编码对称性
机器学习
2023-12-11 v2
摘要
许多数据对称性可用群等变来描述，而在神经网络中编码群等变最常见的方式是构建群等变的线性层。本工作中我们研究网络的等变性是否意味着所有层均为等变。在理论方面，我们发现等变性蕴含逐层等变的情形，但也证明一般而言并非如此。尽管如此，我们猜想被训练为等变的 CNN 会展现逐层等变，并解释该猜想是 Entezari 等人 [2022] 近期置换猜想的一个较弱版本。我们在 CIFAR10 上对 VGG-nets 进行定量实验，并在 ImageNet 上对 ResNets 进行定性实验，以阐明并支持我们的理论发现。这些实验不仅有助于理解群等变性如何在 ReLU 网络中编码，也因我们发现将网络与其群变换版本自身合并通常比合并两个不同网络更容易，从而为 Entezari 等人的置换猜想提供了新视角。
引用
@article{arxiv.2305.17017,
title = {Investigating how ReLU-networks encode symmetries},
author = {Georg Bökman and Fredrik Kahl},
journal= {arXiv preprint arXiv:2305.17017},
year = {2023}
}
备注
NeurIPS camera ready