Task2Sim：面向合成数据的高效预训练与迁移
计算机视觉与模式识别
2022-03-30 v3 机器学习
摘要
在 Imagenet 或其他大规模真实图像数据集上预训练模型已推动计算机视觉的重大进展，但也伴随有关于整理成本、隐私、使用权和伦理问题的缺陷。本文首次研究了基于图形模拟器生成的合成数据预训练模型向来自差异极大领域的下游任务的迁移能力。在使用此类合成数据进行预训练时发现，不同下游任务的性能受惠于不同的仿真参数配置（如光照、物体姿态、背景等），且不存在一刀切的解决方案。因此，最好针对特定下游任务定制合成预训练数据以获得最佳性能。我们提出 Task2Sim，一种将下游任务表示映射到最优仿真参数以生成对应合成预训练数据的统一模型。Task2Sim 通过在“已见”任务集合上寻找最佳参数集的训练来学习该映射。一旦训练完成，它便可用于一次性预测新颖“未见”任务的最佳仿真参数，无需额外训练。在每类图像数量受限的预算下，我们对 20 个多样化下游任务的广泛实验表明，Task2Sim 的任务自适应预训练数据在已见和未见任务上均比非自适应选择仿真参数带来显著更好的下游性能，甚至可与在 Imagenet 真实图像上预训练相竞争。
引用
@article{arxiv.2112.00054,
title = {Task2Sim : Towards Effective Pre-training and Transfer from Synthetic Data},
author = {Samarth Mishra and Rameswar Panda and Cheng Perng Phoo and Chun-Fu Chen and Leonid Karlinsky and Kate Saenko and Venkatesh Saligrama and Rogerio S. Feris},
journal= {arXiv preprint arXiv:2112.00054},
year = {2022}
}
备注
Accepted to CVPR'22