跨类别的变换鲁棒性：鲁棒性是否由不变神经表征驱动？
计算机视觉与模式识别
2023-06-16 v4 机器学习
摘要
深度卷积神经网络（DCNNs）在训练集中包含某些变换（如模糊或噪声）时，已展现出在变换下识别物体的令人印象深刻的鲁棒性。解释此种鲁棒性的一个假设是，DCNNs发展出不变的神经表征，在图像被变换时保持不变。然而，该假设在多大程度上成立仍是一个悬而未决的问题，因为对变换的鲁棒性也可能由不同于不变性的性质实现，例如网络的部分结构可能专门识别变换或非变换图像。本文通过利用不变神经表征有助于超出训练分布的变换鲁棒性这一特点，研究了不变神经表征出现的条件。具体地，我们分析了这样一种训练范式：训练期间仅部分物体类别以变换形式出现，并评估DCNN是否对未以变换形式出现的类别也具有变换鲁棒性。我们对最先进DCNN的结果表明，不变神经表征并非总是驱动变换鲁棒性，因为网络对训练期间见过的变换类别即使在没有不变神经表征的情况下也表现出鲁棒性。只有当训练集中变换类别的数量增加时，不变性才浮现。与涉及物体空间排布变化的几何变换（如旋转与细化）相比，这一现象在局部变换（如模糊与高通滤波）中更为显著。我们的结果有助于更好地理解深度学习中不变神经表征及其自发涌现的条件。
引用
@article{arxiv.2007.00112,
title = {Robustness to Transformations Across Categories: Is Robustness To Transformations Driven by Invariant Neural Representations?},
author = {Hojin Jang and Syed Suleman Abbas Zaidi and Xavier Boix and Neeraj Prasad and Sharon Gilad-Gutnick and Shlomit Ben-Ami and Pawan Sinha},
journal= {arXiv preprint arXiv:2007.00112},
year = {2023}
}