概率对称性与不变神经网络
机器学习
2020-09-18 v2 机器学习
摘要
将神经网络的输入和输出视为随机变量，我们刻画了可用于建模在紧群作用下不变或等变的数据的神经网络结构。近期大量研究致力于将对称变换下的不变性编码到神经网络架构中，以提升深度神经网络在数据稀缺、非独立同分布或无监督环境中的性能。通过从概率对称的角度考虑群不变性，我们建立了函数对称与概率对称之间的联系，并获得了在紧群作用下不变或等变的生成式函数表示。我们的表示完整刻画了可用于建模此类分布的神经网络结构，并给出了构造不变随机或确定性神经网络的一般方案。我们证明了近期文献中的若干例子均为特例，并针对可交换序列与数组给出了该一般方案的详细构造。
引用
@article{arxiv.1901.06082,
title = {Probabilistic symmetries and invariant neural networks},
author = {Benjamin Bloem-Reddy and Yee Whye Teh},
journal= {arXiv preprint arXiv:1901.06082},
year = {2020}
}
备注
Revised structure for clarity; fixed minor mistakes; incorporated reviewer feedback for publication