利用不变积分改善深度分类网络的样本复杂度
机器学习
2022-02-09 v1
摘要
利用关于由变换引起的类内方差的先验知识，是改善深度神经网络样本复杂度的有力方法。这使其适用于训练数据稀缺的实际重要用例。该知识可通过强制对这些变换的不变性来嵌入，而非通过学习获得。不变性可利用群等变卷积接池化操作来施加。对于旋转不变性，先前工作研究了以不变积分替换空间池化操作，其显式构造不变表示。不变积分使用的单项式通过迭代方法选取，需要昂贵的预训练。我们提出了一种基于剪枝方法的新型单项式选择算法，以使其能应用于更复杂的问题。此外，我们将单项式替换为不同函数，如加权和、多层感知机与自注意力，从而简化基于不变积分的架构的训练。我们在 Rotated-MNIST、SVHN 和 CIFAR-10 数据集上展示了改善的样本复杂度，其中基于旋转不变积分的 Wide-ResNet 架构使用单项式与加权和在有限样本情形下优于相应基线。在旋转是类内变化主要来源的 Rotated-MNIST 和 SVHN 上利用全数据取得了 SOTA 结果。在 STL-10 上，我们优于使用池化的标准卷积神经网络与旋转等变卷积神经网络。
引用
@article{arxiv.2202.03967,
title = {Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration},
author = {Matthias Rath and Alexandru Paul Condurache},
journal= {arXiv preprint arXiv:2202.03967},
year = {2022}
}
备注
Accepted at VISAPP 2022