无权重绑定的真正不变性学习研究
机器学习
2023-08-09 v1
摘要
在本文中，我们研究了神经网络从数据中学习到的不变性与通过不变权重绑定实现的真正不变性相比的属性和局限。为此，我们采用群论视角，分析无权重绑定约束下神经网络中的不变性学习。我们证明，即使网络学会正确分类群轨道上的样本，此类模型底层的决策也未达到真正不变性。相反，学习到的不变性强烈依赖于输入数据，若输入分布发生偏移则不可靠。我们接下来展示如何通过正则化模型在训练时的不变性来引导不变性学习朝向真正不变性。为此，我们提出若干量化学习不变性的指标：（i）预测分布不变性，（ii）logit 不变性，以及（iii）显著性不变性相似度。我们表明，通过不变性误差正则化学习到的不变性与权重绑定模型的真正不变性高度接近，并且即使在严重输入分布偏移下也能可靠保持。对学习不变性的进一步分析还揭示了谱衰减现象，即网络选择通过降低对任意输入扰动的敏感性来实现对特定变换群的不变性。
引用
@article{arxiv.2308.03904,
title = {On genuine invariance learning without weight-tying},
author = {Artem Moskalev and Anna Sepliarskaia and Erik J. Bekkers and Arnold Smeulders},
journal= {arXiv preprint arXiv:2308.03904},
year = {2023}
}