协同注意力等变神经网络：将等变性聚焦于数据中共现的变换
计算机视觉与模式识别
2020-02-11 v2 机器学习
机器学习
摘要
等变性是一项优良性质，因其产生参数效率更高的神经架构，并在特征映射中保持输入的结构。尽管某些变换组合可能从未出现（例如具有水平鼻子的正立人脸），当前等变架构在学习特征表示时仍考虑变换群中所有可能变换的集合。相反，人类视觉系统能够关注环境中相关变换的集合，并利用该信息辅助并改善物体识别。基于这一观察，我们修改常规等变特征映射，使其能关注数据中共现变换的集合，并将该概念推广至作用于含多种对称性的群。我们表明，所提协同注意力等变神经网络在旋转MNIST与CIFAR-10上持续优于常规旋转等变及旋转反射等变神经网络。
引用
@article{arxiv.1911.07849,
title = {Co-Attentive Equivariant Neural Networks: Focusing Equivariance On Transformations Co-Occurring In Data},
author = {David W. Romero and Mark Hoogendoorn},
journal= {arXiv preprint arXiv:1911.07849},
year = {2020}
}
备注
Proceedings of the 8th International Conference on Learning Representations (ICLR), 2020