冲突束:使架构适配以改进深度神经网络训练
机器学习
2020-11-06 v1 计算机视觉与模式识别
摘要
设计神经网络架构是一项具有挑战性的任务,而知悉应调整模型中哪些特定层以提升性能几乎如同谜团。本文中,我们引入一种新颖的理论与度量来识别降低已训练模型测试精度的层,该识别早在训练之初即可完成。在最坏情况下,此类层可能导致网络完全无法训练。更确切地说,我们识别出那些因产生冲突训练束而恶化性能的网络层,如我们的新颖理论分析所示,并辅以广泛的实证研究。基于这些发现,引入了一种自动移除性能下降层的新型算法。该算法发现的架构在与最先进架构比较时取得了具竞争力的精度。在保持如此高精度的同时,我们的方法大幅降低了不同计算机视觉任务的内存消耗与推理时间。
引用
@article{arxiv.2011.02956,
title = {Conflicting Bundles: Adapting Architectures Towards the Improved Training of Deep Neural Networks},
author = {David Peer and Sebastian Stabinger and Antonio Rodriguez-Sanchez},
journal= {arXiv preprint arXiv:2011.02956},
year = {2020}
}
备注
Accepted at WACV2021