深度学习世界中小样本量问题的解析
计算机视觉与模式识别
2020-08-11 v1 机器学习
摘要
深度学习方法的增长与成功可归因于两个主要因素：硬件资源的可用性和大量训练样本的可用性。对于具有大型训练数据库的问题，深度学习模型已取得了卓越的性能。然而，存在大量小样本量或 问题，收集大型训练数据库并不可行。已观察到深度学习模型在 问题上泛化不佳，且需要专门的解决方案。在本文中，我们首先对用于小样本量问题的深度学习算法进行了综述，其中算法根据其所作用的空间（即输入空间、模型空间和特征空间）进行分类。其次，我们提出了动态注意力池化方法，其侧重于从特征图最具判别性的子部分中提取全局信息。所提出的动态注意力池化的性能在先进 ResNet 模型上于相对较小的公开可用数据集（如 SVHN、C10、C100 和 TinyImageNet）上进行了分析。
引用
@article{arxiv.2008.03522,
title = {Unravelling Small Sample Size Problems in the Deep Learning World},
author = {Rohit Keshari and Soumyadeep Ghosh and Saheb Chhabra and Mayank Vatsa and Richa Singh},
journal= {arXiv preprint arXiv:2008.03522},
year = {2020}
}
备注
3 figures, 2 tables, accepted in BigMM 2020