$\P$ILCRO：让重要性景观再次平坦
机器学习
2020-02-07 v2 机器学习
摘要
卷积神经网络在众多任务中取得了巨大成功，包括图像分类、目标检测、序列建模等。人们通常假设此类神经网络具有平移不变性，即能够独立于给定特征在输入图像中的位置而检测到该特征。虽然对于由受限层数类别构成且图像相当简单的网络这一假设成立，但具有常见最先进网络的复杂图像通常并不如人所愿地具备该性质。本文表明，大多数现有卷积架构在初始化时定义了一种特定的特征重要性景观，其制约了网络在后续训练甚至测试时关注图像不同位置的能力。我们展示了该现象在特定条件下如何发生，以及在某些假设下如何对其进行调整。我们推导了 P-objective，或称 PILCRO（Pixel-wise Importance Landscape Curvature Regularised Objective，逐像素重要性景观曲率正则化目标），一种简单的正则化技术，其偏好产生平滑、低曲率且依赖于数据而非所选架构的重要性景观的权重配置。通过大量实验，我们进一步表明，在常见计算机视觉分类设定下，流行计算机视觉网络的 P 正则化版本相较于原始版本具有平坦的重要性景观、训练更快、准确率更高且对测试时噪声更鲁棒。
引用
@article{arxiv.2001.09696,
title = {$\P$ILCRO: Making Importance Landscapes Flat Again},
author = {Vincent Moens and Simiao Yu and Gholamreza Salimi-Khorshidi},
journal= {arXiv preprint arXiv:2001.09696},
year = {2020}
}