卷积层对离散平移等变但对连续平移不等变
计算机视觉与模式识别
2023-12-08 v4 机器学习
摘要
这篇简短易懂的注记旨在澄清关于卷积神经网络（CNNs）的一个常见误解。CNN 由因权值共享而具有平移等变性的卷积层构成。然而，即便忽略边界效应且不存在池化与下采样，卷积层也不是平移等变的。这是因为平移等变性是一种离散对称性，而平移等变性是一种连续对称性。这一事实在等变机器学习研究者中众所周知，但常被非专家所忽视。为尽量减少混淆，我们建议使用术语“shift equivariance（平移等变性）”指代像素的离散平移，使用“translation equivariance（平移等变性）”指代连续平移。
引用
@article{arxiv.2206.04979,
title = {Convolutional layers are equivariant to discrete shifts but not continuous translations},
author = {Nick McGreivy and Ammar Hakim},
journal= {arXiv preprint arXiv:2206.04979},
year = {2023}
}