通过参数共享实现等变性

Siamak Ravanbakhsh; Jeff Schneider; Barnabas Poczos

通过参数共享实现等变性

机器学习 2017-06-15 v2 神经与进化计算

作者: Siamak Ravanbakhsh , Jeff Schneider , Barnabas Poczos

摘要

我们提出通过参数对称性研究深度神经网络的等变性。具体而言，给定一个离散作用于标准神经网络层 $\phi_{W}: \Re^{M} \to \Re^{N}$ 的输入与输出的群 $\mathcal{G}$ ，我们证明 $\phi_{W}$ 关于 $\mathcal{G}$ -作用是等变的，当且仅当 $\mathcal{G}$ 解释了网络参数 $W$ 的对称性。受此观察启发，我们提出两种参数共享方案，以在 $W$ 上诱导所需的对称性。我们的参数绑定过程实现了 $\mathcal{G}$ -等变性，并且在关于 $\mathcal{G}$ 作用的某些条件下，保证了对 $\mathcal{G}$ 之外所有其他置换群的敏感性。

关键词

等变性参数共享深度神经网络参数对称性群作用置换群敏感性

引用

@article{arxiv.1702.08389,
  title  = {Equivariance Through Parameter-Sharing},
  author = {Siamak Ravanbakhsh and Jeff Schneider and Barnabas Poczos},
  journal= {arXiv preprint arXiv:1702.08389},
  year   = {2017}
}

备注

icml'17

通过参数共享实现等变性

摘要

关键词

引用

备注

相关论文