一种量化深度网络边缘性能退化的经验方法

当将卷积核应用于图像时，若输出要保持与输入相同大小，则需要在图像边界周围进行某种形式的填充，这意味着对于卷积神经网络（CNN）中的每一层卷积，都会产生一条宽度等于核大小一半的像素带，其表示不真实。尽管大多数 CNN 核较小以降低网络参数负载，但这种不真实区域会随着每个卷积层累积。倾向于越来越深的网络加上基于步长的下采样，意味着该区域的传播最终可能覆盖图像中不可忽略的一部分。尽管多年来卷积的这一 issue 已被广泛认知，但这种退化的边缘表示对现代网络行为的影响尚未被充分量化。平移不变性的极限是什么？图像填充能否成功缓解该问题，还是当物体于图像边界与中心之间移动时性能会受影响？我们使用 Mask R-CNN 作为实验模型，设计了一个数据集与方法以量化网络性能的空间依赖性。我们的数据集通过将物体插入高分辨率背景中构建，从而允许我们裁剪出将目标物体置于相对图像边界特定位置的子图像。通过在选定目标位置探查 Mask R-CNN 的行为，我们观察到靠近图像边界、尤其是图像四角处清晰的性能退化模式。量化网络性能中这种空间各向异性的程度与幅度，对于将深度网络部署到非受限且真实的环境中十分重要，在这些环境中物体或感兴趣区域的位置无法保证在给定图像中良好定位。