基于群分解的自动等变网络搜索
机器学习
2021-06-09 v2
摘要
近期工作表明，将群等变性（group equivariance）作为归纳偏置可提升神经网络在分类与生成任务中的性能。然而，当感兴趣的群规模大且未知时，设计群等变神经网络颇具挑战。此外，引入等变性会显著减少固定特征规模网络中独立参数的数量，影响其整体性能。我们通过证明等变神经网络背景下的一项新群论结果来解决这些问题：网络对大群等变当且仅当其对构造该大群的较小群等变。利用该结果，我们设计了一种新颖的快速群等变构造算法，以及一种在缩减搜索空间中的深度Q学习搜索算法，得到所谓的自动等变网络（AENs）。AENs在通过分别对MNIST与Fashion-MNIST进行群变换获得的、我们所发布的新基准数据集G-MNIST与G-Fashion-MNIST上，找到了等变性与网络规模间的恰当平衡。将这些结果扩展到群卷积神经网络（GCNNs），在其中我们优化等变性、增强与网络规模之间的权衡，发现群等变性在CIFAR10、SVHN、RotMNIST、ASL、EMNIST与KMNIST等多个数据集上所有高性能GCNNs中均为最具主导性的因素。
引用
@article{arxiv.2104.04848,
title = {Autoequivariant Network Search via Group Decomposition},
author = {Sourya Basu and Akshayaa Magesh and Harshit Yadav and Lav R. Varshney},
journal= {arXiv preprint arXiv:2104.04848},
year = {2021}
}