尺度不变尺度通道网络:可泛化至前所未见尺度的深度网络
计算机视觉与模式识别
2022-04-13 v2 机器学习
摘要
处理大尺度变化的能力对许多真实世界视觉任务至关重要。在深度网络中处理尺度的一种直接方法是在一组尺度通道中同时以若干尺度处理图像。尺度不变性原则上随后可通过尺度通道间的权值共享以及对尺度通道输出进行最大或平均池化来实现。然而,此类尺度通道网络在显著尺度范围内泛化到训练集中未出现尺度的能力此前未被探索。本文中,我们通过对不同类别的尺度通道网络进行实现并评估其泛化到前所未见尺度的能力,对该方法学给出系统性研究。我们发展了一种形式体系用于分析尺度通道网络的协变与不变性质,并探讨缩放下特有的不同设计选择如何影响尺度通道网络的整体性能。我们首先表明两种先前提出的尺度通道网络设计不能很好泛化到训练集中未出现的尺度。我们从理论上解释并实验上演示这些情况下泛化失败的原因。然后我们提出一种新型中央凹式尺度通道架构,其中尺度通道以递减的分辨率处理图像中越来越大的部分。这种新型尺度通道网络被证明泛化极好,只要有充分的图像分辨率且不存在边界效应。我们提出的 FovMax 与 FovAvg 网络在 8 倍的尺度范围内表现几乎一致,即便在单尺度训练数据上训练时亦是如此,并且在从小样本体制下具有大尺度变化的数据集学习时也给出改进的性能。
引用
@article{arxiv.2106.06418,
title = {Scale-invariant scale-channel networks: Deep networks that generalise to previously unseen scales},
author = {Ylva Jansson and Tony Lindeberg},
journal= {arXiv preprint arXiv:2106.06418},
year = {2022}
}
备注
31 pages, 15 figures, 6 tables. arXiv admin note: substantial text overlap with arXiv:2004.01536