促进深度神经网络对分布外朝向与光照下物体泛化的三种方法
计算机视觉与模式识别
2022-01-27 v2 人工智能
机器学习
摘要
训练数据分布往往偏向于处于特定朝向和光照条件下的物体。尽管人类在识别分布外（OoD）朝向与光照下的物体方面具有非凡能力，深度神经网络（DNNs）在此情况下表现严重不佳，即便有海量训练样本可用。本文研究了三种不同的方法来改进DNNs在识别OoD朝向与光照下物体的表现。具体而言：（i）在分布内（InD）验证准确率收敛后训练更久，即迟停法（late-stopping）；（ii）调整批归一化层的动量参数；（iii）强制中间层神经活动对朝向和光照条件保持不变性。这些方法均大幅提升了DNN的OoD准确率（某些情况下超过20%）。我们在四个数据集上报告结果：其中两个由MNIST和iLab数据集修改而来，另两个为全新数据集（一个是3D渲染汽车，另一个是从多种受控朝向与光照条件下拍摄的物体）。这些数据集可用于研究不同偏差量的影响，且由于DNN在OoD条件下表现很差而具有挑战性。最后，我们证明，尽管三种方法关注DNN的不同方面，它们都倾向于导致相同的底层神经机制以实现OoD准确率提升——中间层的单个神经元对某一类别更具选择性，同时对OoD朝向与光照保持不变性。我们期望本研究能作为进一步提升深度神经网络OoD泛化性能的基础，而这对实现安全且公平的人工智能应用有高度需求。
引用
@article{arxiv.2111.00131,
title = {Three approaches to facilitate DNN generalization to objects in out-of-distribution orientations and illuminations},
author = {Akira Sakai and Taro Sunagawa and Spandan Madan and Kanata Suzuki and Takashi Katoh and Hiromichi Kobashi and Hanspeter Pfister and Pawan Sinha and Xavier Boix and Tomotake Sasaki},
journal= {arXiv preprint arXiv:2111.00131},
year = {2022}
}