深度神经网络在摄入更多数据时是否总是表现更好？
机器学习
2022-05-31 v1
摘要
数据如今已成为深度学习的短板。各领域的研究者普遍持有“深度神经网络在摄入更多数据时未必总是表现更好”的观点，但这仍缺乏实验验证与令人信服的指导理论。为弥补这一缺失，我们从独立同分布（IID）与分布外（OOD）出发设计实验，给出了有力的回答。为提供指导，基于结果讨论，我们提出两条理论：在 IID 条件下，信息量决定每个样本的有效性，样本贡献与类间差异决定样本信息量与类信息量；在 OOD 条件下，样本的跨域程度决定其贡献，且由无关元素引起的偏置拟合是跨域的重要因素。上述理论从数据视角提供指导，可促进人工智能的广泛应用。
引用
@article{arxiv.2205.15187,
title = {Do Deep Neural Networks Always Perform Better When Eating More Data?},
author = {Jiachen Yang and Zhuo Zhang and Yicheng Gong and Shukun Ma and Xiaolan Guo and Yue Yang and Shuai Xiao and Jiabao Wen and Yang Li and Xinbo Gao and Wen Lu and Qinggang Meng},
journal= {arXiv preprint arXiv:2205.15187},
year = {2022}
}