一个模型抵得上数以万计的样本
机器学习
2023-03-21 v1 人工智能
信号处理
摘要
依赖数学数据生成模型的传统信号处理方法已被弃用,取而代之的是需要海量数据的深度神经网络。由于理论样本复杂度几乎无法评估,通常只能用粗略的经验法则来估计所需的样本量。然而,这些法则仅表明网络何时能起作用,却与传统方法无关。具体而言,一个有趣的问题是:如果可能的话,神经网络需要多少数据才能与传统的基于模型的方法持平或胜出?在这项工作中,我们在两个简单示例中实证研究了这一问题,这两个示例中的数据均根据精确定义的数学模型生成,且已知有充分理解的、最优或最先进(state-of-the-art)的与数据无关的数学解。第一个问题是对一维高斯信号进行反卷积,第二个问题是在随机灰度圆盘图像中估计圆的半径和位置。通过使用不同数量的训练数据训练各种网络(包括简单的自定义网络和成熟的网络),我们发现,与传统方法相比,网络需要数以万计的样本,无论网络是从头开始训练,还是通过迁移学习或微调进行训练。
引用
@article{arxiv.2303.10608,
title = {A model is worth tens of thousands of examples},
author = {Thomas Dagès and Laurent D. Cohen and Alfred M. Bruckstein},
journal= {arXiv preprint arXiv:2303.10608},
year = {2023}
}