深度网络训练从零到精通：规避陷阱与更进一步
机器学习
2021-10-14 v2 计算机视觉与模式识别
摘要
在真实世界数据中训练深度神经网络可能具有挑战性。将模型用作黑盒，即使采用迁移学习，在小数据集或特定应用中也可能导致泛化能力差或结果不明确。本教程涵盖了改进模型的基本步骤以及更多近期选项，尤其（但不限于）监督学习。它在未如挑战赛数据那样精心准备的数据集，以及标注稀缺和/或小数据情况下特别有用。我们描述了基本流程：如数据准备、优化和迁移学习，也包括近期架构选择如 transformer 模块的使用、替代卷积层、激活函数、宽与深网络，以及训练流程包括课程学习、对比学习和自监督学习。
引用
@article{arxiv.2109.02752,
title = {Training Deep Networks from Zero to Hero: avoiding pitfalls and going beyond},
author = {Moacir Antonelli Ponti and Fernando Pereira dos Santos and Leo Sampaio Ferraz Ribeiro and Gabriel Biscaro Cavallari},
journal= {arXiv preprint arXiv:2109.02752},
year = {2021}
}
备注
Extended version of SIBGRAPI 2021 Tutorial Paper