仿射自卷积
计算机视觉与模式识别
2019-11-19 v1
摘要
注意力机制，尤其是自注意力，不仅是处理文本而且是处理图像的强大构建模块。这些提供了一种参数高效的输入聚合方法。我们关注视觉模型中的自注意力，并将其与卷积相结合，据我们所知，我们是首个这样做的。由此产生的是一种具有数据依赖滤波器的卷积。我们称之为仿射自卷积（Affine Self Convolution）。虽然这在每个空间位置上的应用不同，但我们证明它是平移等变的。我们还修改了注意力的 Squeeze and Excitation 变体，将这两种注意力变体扩展到旋转平移群。我们在 CIFAR10 和 CIFAR100 上评估了这些新模型，并展示了在参数数量上的改进，同时在测试时达到了与自训练基线相当或更高的准确率。
引用
@article{arxiv.1911.07704,
title = {Affine Self Convolution},
author = {Nichita Diaconu and Daniel E Worrall},
journal= {arXiv preprint arXiv:1911.07704},
year = {2019}
}