深度监督综述：理论与应用
计算机视觉与模式识别
2022-07-07 v1 人工智能
摘要
深度监督，又称“中间监督”或“辅助监督”，是在神经网络的隐藏层添加监督。该技术近年来已越来越多地应用于各类计算机视觉任务的深度神经网络学习系统中。学界共识认为，深度监督通过缓解梯度消失问题（这是深度监督诸多优势之一）来提升神经网络性能。此外，在不同的计算机视觉应用中，深度监督可以不同的方式应用。如何在不同应用中充分利用深度监督来提升网络性能尚未被深入探究。本文对深度监督的理论与应用进行了全面深入的综述。我们提出了一种对不同类型的深度监督网络的新分类，并讨论了当前计算机视觉应用中深度监督网络的优点与局限。
引用
@article{arxiv.2207.02376,
title = {A Comprehensive Review on Deep Supervision: Theories and Applications},
author = {Renjie Li and Xinyi Wang and Guan Huang and Wenli Yang and Kaining Zhang and Xiaotong Gu and Son N. Tran and Saurabh Garg and Jane Alty and Quan Bai},
journal= {arXiv preprint arXiv:2207.02376},
year = {2022}
}