新基准：Blender 合成数据在纯监督学习与下游域适应中的效用
摘要
计算机视觉中的深度学习已取得巨大成功，代价是大规模标注训练数据。然而，由于高昂的人工成本与无法保证的标注准确性，对感兴趣的所有领域的每项任务进行穷尽式数据标注是不切实际的。此外，不可控的数据收集过程会产生非独立同分布（non-IID）的训练与测试数据，并可能存在不期望的重复。这些干扰可能阻碍典型理论的验证与新发现的暴露。为规避它们，一种替代方案是通过带域随机化的三维渲染生成合成数据。我们在本工作中沿此方向推进，对纯监督学习与下游域适应进行了深入广泛的研究。具体而言，在三维渲染所实现的受控、独立同分布（IID）数据设定下，我们系统性地验证了典型且重要的学习见解（如捷径学习），并发现了泛化中不同数据规模与网络架构的新规律。我们进一步考察了三维场景中图像形成因素（如物体尺度、材质纹理、光照、相机视角与背景）对泛化的影响。此外，我们将仿真到现实的适应作为下游任务，以比较合成数据与真实数据用于预训练时的可迁移性，结果表明合成数据预训练同样有望提升真实测试表现。最后，为促进未来研究，我们构建了一个用于图像分类的新大规模合成到现实基准，称为 S2RDA，其为从仿真到现实的迁移提供了更具意义的挑战。代码与数据集见 https://github.com/huitangtang/On_the_Utility_of_Synthetic_Data。
引用
@article{arxiv.2303.09165,
title = {A New Benchmark: On the Utility of Synthetic Data with Blender for Bare Supervised Learning and Downstream Domain Adaptation},
author = {Hui Tang and Kui Jia},
journal= {arXiv preprint arXiv:2303.09165},
year = {2023}
}
备注
24 pages, 14 figures, 5 tables, accepted by the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023. The proposed new synthetic-to-real benchmark S2RDA is available at https://pan.baidu.com/s/1fHHaqrEHbUZLXEg9XKpgSg?pwd=w9wa. The project page is available at https://huitangtang.github.io/On_the_Utility_of_Synthetic_Data/