基于多尺度自监督学习的孪生编码与对齐
计算机视觉与模式识别
2019-04-05 v1
摘要
我们提出一种将源图像对齐到目标图像的方法，其中变换由稠密向量场指定。两幅图像通过孪生卷积网络编码为特征层次结构。随后一组对齐模块以由粗到细的递归方式计算变换。每个模块以上一层模块计算出的变换作为输入，对齐同一层次上的源编码与目标编码，然后使用卷积网络计算出改进的变换近似。编码器与对齐网络的整个架构以自监督方式训练，以最小化对齐后源与目标之间剩余的 squared error（平方误差）。我们表明，孪生编码能够实现比 SPyNet（一种先前的深度学习由粗到细对齐方法）的图像金字塔更精确的对齐。此外，与强监督的 SPyNet 不同，自监督即使在没有变换目标值的情况下也适用。我们还表明我们的方法优于一次性对齐方法，因为后者中的精细通路在位移较大时可能无助于对齐精度。正如先前一次性方法所示，自监督学习获得良好结果需要损失函数额外惩罚非平滑变换。我们证明在间断处附近“掩蔽掉”惩罚函数可正确恢复非平滑变换。我们的论断得到使用脑组织的连续切片电子显微镜图像进行的实证比较的支持。
引用
@article{arxiv.1904.02643,
title = {Siamese Encoding and Alignment by Multiscale Learning with Self-Supervision},
author = {Eric Mitchell and Stefan Keselj and Sergiy Popovych and Davit Buniatyan and H. Sebastian Seung},
journal= {arXiv preprint arXiv:1904.02643},
year = {2019}
}