CNN 何时及如何泛化至分布外类别-视角组合
计算机视觉与模式识别
2021-11-18 v3 机器学习
摘要
物体识别与视角估计是视觉理解的核心。近期研究表明，卷积神经网络（CNN）无法泛化到分布外（OOD）的类别-视角组合，即训练时未见的组合。本文中，我们通过评估在 OOD 组合上分类物体类别与 3D 视角的 CNN，并识别促进此类 OOD 泛化的神经机制，来探究这种 OOD 泛化何时及如何可能。我们表明，增加分布内组合的数量（即数据多样性）能显著提升对 OOD 组合的泛化能力，即便训练数据量相同。我们比较了在分离与共享网络架构中学习类别与视角的情况，观察到在分布内与 OOD 组合上截然不同的趋势，即共享网络在分布内有帮助，而分离网络在 OOD 组合上显著优于共享网络。最后，我们证明此类 OOD 泛化由专门化的神经机制促成，即两类神经元的出现——对类别选择性且对视角不变，以及反之。
引用
@article{arxiv.2007.08032,
title = {When and how CNNs generalize to out-of-distribution category-viewpoint combinations},
author = {Spandan Madan and Timothy Henry and Jamell Dozier and Helen Ho and Nishchal Bhandari and Tomotake Sasaki and Frédo Durand and Hanspeter Pfister and Xavier Boix},
journal= {arXiv preprint arXiv:2007.08032},
year = {2021}
}