平移等变性如何影响实例分割中的度量学习

关于度量学习是否适用于解决实例分割任务,学界存在相互矛盾的评估。它曾因所采用的CNN的平移等变性及其无法区分外观相同物体的理论缺陷而被否定。然而,它已被证明能在多种任务上取得最先进(state of the art)结果,且实际问题主要出现在分块拼接(tile-and-stitch)方法中,观察到块边界处的不连续性。迄今为止,所报告的这些问题均未经过严格的正式分析。在我们的工作中,我们对编码器-解码器风格CNN的平移等变性性质进行了全面的正式分析,从而清晰刻画了在面对外观相同物体时度量学习所能与不能达成的目标。特别地,我们证明一个以$d$维图像为输入、具有$l$个池化层且池化因子为$f$的标准编码器-解码器网络最多可区分$f^{dl}$个外观相同物体,并证明该上限可以达到。此外,我们表明为避免分块拼接方法中的不连续性,在标准批量大小为1的假设下,必须采用有效卷积(valid convolution)并结合严格大于$f^l$的训练输出窗口尺寸,而在测试时必须将块裁剪为$n\cdot f^l$大小后再拼接,其中$n\geq 1$。我们通过讨论若干富有洞见的特例并以合成数据展示实证结果,对这些理论发现加以补充。