合成到真实迁移的缩放定律：你的预训练效果如何？
机器学习
2021-10-12 v3 计算机视觉与模式识别
摘要
合成到真实迁移学习是一种框架，其中使用合成生成的数据集来预训练模型，以提高其在真实视觉任务上的性能。使用合成图像最显著的优势是真实标签自动可用，从而无需人工成本即可无限扩展数据规模。然而，合成数据可能存在巨大的域差距，在这种情况下，增加数据规模并不能提高性能。我们如何能知道这一点？在本研究中，我们推导出一个简单的缩放定律，该定律可以根据预训练数据量预测性能。通过估计该定律的参数，我们可以判断是应该增加数据还是改变图像合成的设置。此外，我们通过考虑学习动力学分析了迁移学习的理论，并确认推导出的泛化界与我们的经验发现一致。我们在基准任务、模型大小和合成图像复杂度的各种实验设置上，实证验证了我们的缩放定律。
引用
@article{arxiv.2108.11018,
title = {A Scaling Law for Synthetic-to-Real Transfer: How Much Is Your Pre-training Effective?},
author = {Hiroaki Mikami and Kenji Fukumizu and Shogo Murai and Shuji Suzuki and Yuta Kikuchi and Taiji Suzuki and Shin-ichi Maeda and Kohei Hayashi},
journal= {arXiv preprint arXiv:2108.11018},
year = {2021}
}