神经网络数据效率在无关输入维度下的敌人
机器学习
2021-07-15 v1 计算机视觉与模式识别
摘要
数据集常包含对预测输出标签不必要的输入维度，例如物体识别中的背景，这会导致更多可训练参数。深度神经网络（DNN）对隐藏层参数数量的增加具有鲁棒性，但尚不清楚这一点是否对输入层同样成立。在本通讯中，我们研究不必要的输入维度对 DNN 一个核心问题的影响：其数据效率，即达到特定泛化性能所需样本量。我们的结果表明，与任务无关的不必要输入维度会严重降低数据效率。这凸显了需要能够移除任务无关维度以实现数据效率提升的机制。
引用
@article{arxiv.2107.06409,
title = {The Foes of Neural Network's Data Efficiency Among Unnecessary Input Dimensions},
author = {Vanessa D'Amario and Sanjana Srivastava and Tomotake Sasaki and Xavier Boix},
journal= {arXiv preprint arXiv:2107.06409},
year = {2021}
}