用于紧凑球面卷积的核变换网络
计算机视觉与模式识别
2019-04-10 v2
摘要
理想情况下,360{\deg} 全景图像可以继承已经在透视投影图像上训练取得巨大成功的深度卷积神经网络(CNNs)。然而,现有的将 CNN 从透视图像迁移到球面图像的方法会引入显著的计算成本和/或精度下降。在本工作中,我们提出核变换网络(KTN)。KTN 高效地将卷积核从透视图像迁移到 360{\deg} 图像的等距柱状投影。以透视图像源 CNN 作为输入,KTN 产生一个由极角和卷积核参数化的函数作为输出。给定一幅新的 360{\deg} 图像,该函数在相应切平面投影上可计算任意层和卷积核的卷积,如同源 CNN 所做。与所有现有方法不同,KTN 允许模型迁移:同一模型可应用于具有相同基础架构的不同源 CNN。这使得无需重新训练 KTN 即可应用于多个识别任务。我们使用多个源 CNN 和数据集验证我们的方法,表明 KTN 改进了球面卷积的最先进水平(state of the art)。KTN 成功保留了源 CNN 的精度,同时提供了可迁移性、对典型图像分辨率的可扩展性,并且在许多情况下显著更低的内存占用。
引用
@article{arxiv.1812.03115,
title = {Kernel Transformer Networks for Compact Spherical Convolution},
author = {Yu-Chuan Su and Kristen Grauman},
journal= {arXiv preprint arXiv:1812.03115},
year = {2019}
}
备注
In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019