利用合成数据集：形状偏置在深度神经网络泛化中的作用
计算机视觉与模式识别
2023-11-13 v1 人工智能
机器学习
摘要
深度学习的近期进展主要由在日益庞大的数据集上训练的大模型所驱动。尽管神经缩放定律已出现，可在给定特定计算资源水平下预测网络性能，但对扩展数据集日益增长的需求引发了担忧。为此，一个聚焦创建合成数据作为替代的新研究方向已然兴起。在本研究中，我们考察神经网络在合成数据集训练过程中表现出的形状偏置，将其作为合成数据质量的指标。具体而言，我们的发现指出三个关键点：（1）形状偏置因网络架构与监督类型而异，这使其作为泛化预测因子以及解释相较于人类能力的模型识别差异的可靠性受到质疑。（2）仅依赖形状偏置估计泛化是不可靠的，因为它与多样性和自然度纠缠在一起。（3）我们提出将形状偏置重新解释为估计数据集中样本多样性的工具。我们的研究旨在厘清在深度学习中使用合成数据及其相关形状偏置的影响，以应对有关泛化与数据集质量的担忧。
引用
@article{arxiv.2311.06224,
title = {Harnessing Synthetic Datasets: The Role of Shape Bias in Deep Neural Network Generalization},
author = {Elior Benarous and Sotiris Anagnostidis and Luca Biggio and Thomas Hofmann},
journal= {arXiv preprint arXiv:2311.06224},
year = {2023}
}