知晓距离：理解人脸解析中合成数据与真实数据之间的鸿沟
计算机视觉与模式识别
2023-03-28 v1 机器学习
摘要
利用合成数据训练计算机视觉算法已日益流行，因其具成本效益、可扩展且能提供准确的多模态标签。尽管近期研究表明仅用合成数据训练网络即可取得令人印象深刻的成果，合成与真实数据之间仍存在性能鸿沟，通常归因于缺乏真实感。本研究旨在针对人脸解析任务更细致地考察该鸿沟。我们区分三类鸿沟：分布鸿沟、标签鸿沟与真实感鸿沟。我们的发现表明，分布鸿沟是性能鸿沟的最大贡献者，占比超50%。通过弥补该鸿沟并考量标签鸿沟，我们证明在合成数据上训练的模型取得了与在相近规模真实数据上训练的模型相当的结果。这表明合成数据是真实数据的可行替代，尤其在真实数据有限或难以获取时。我们的研究凸显了合成数据集中内容多样性的重要性，并挑战了“真实感鸿沟是影响基于合成数据训练的计算机视觉模型性能的最关键因素”这一观念。
引用
@article{arxiv.2303.15219,
title = {Knowing the Distance: Understanding the Gap Between Synthetic and Real Data For Face Parsing},
author = {Eli Friedman and Assaf Lehr and Alexey Gruzdev and Vladimir Loginov and Max Kogan and Moran Rubin and Orly Zvitia},
journal= {arXiv preprint arXiv:2303.15219},
year = {2023}
}