面向视觉识别的深度等距学习
计算机视觉与模式识别
2020-08-18 v2
摘要
初始化、归一化和跳跃连接被认为是训练极深卷积神经网络并获得最先进性能的三项不可或缺的技术。本文表明，没有归一化也没有跳跃连接的深度原始 ConvNets 也能被训练以在标准图像识别基准上取得令人惊讶的良好性能。这是通过在初始化和训练期间强制卷积核接近等距，以及使用一种向等距偏移的 ReLU 变体来实现的。进一步实验表明，若与跳跃连接结合，此类接近等距的网络可在 ImageNet 上达到与标准 ResNet 相当、在 COCO 上优于标准 ResNet 的性能，即便完全不使用归一化。我们的代码可在 https://github.com/HaozhiQi/ISONet 获取。
引用
@article{arxiv.2006.16992,
title = {Deep Isometric Learning for Visual Recognition},
author = {Haozhi Qi and Chong You and Xiaolong Wang and Yi Ma and Jitendra Malik},
journal= {arXiv preprint arXiv:2006.16992},
year = {2020}
}
备注
ICML 2020; Code: https://github.com/HaozhiQi/ISONet; Website: https://haozhiqi.github.io/ISONet