用于视觉的分组等变独立自注意力
计算机视觉与模式识别
2021-03-22 v2 机器学习
摘要
我们提供一种通用的自注意力公式，以对任意对称群施加群等变性。这是通过定义对所考虑群的作用保持不变的位置编码实现的。由于群直接作用于位置编码，群等变自注意力网络（GSA-Nets）本质上具有可操纵性。我们在视觉基准上的实验表明，GSA-Nets 相比非等变自注意力网络有一致的提升。
引用
@article{arxiv.2010.00977,
title = {Group Equivariant Stand-Alone Self-Attention For Vision},
author = {David W. Romero and Jean-Baptiste Cordonnier},
journal= {arXiv preprint arXiv:2010.00977},
year = {2021}
}
备注
Proceedings of the 9th International Conference on Learning Representations (ICLR), 2021