AptSim2Real：近似配对式的模拟到真实图像翻译
计算机视觉与模式识别
2023-03-24 v2 图像与视频处理
摘要
图形技术的进步增加了利用模拟数据训练机器学习模型的做法。然而，模拟数据常与真实世界数据存在差异，形成分布鸿沟，可能降低在模拟数据上训练的模型在真实应用中的效能。为缓解该鸿沟，模拟到真实域迁移修改模拟图像以更好地匹配真实世界数据，从而在模型训练中有效利用模拟数据。模拟到真实迁移利用图像翻译方法，其分为两大类：配对与未配对图像到图像翻译。配对图像翻译要求完美的像素匹配，由于模拟与真实世界数据间缺乏逐像素对应，实践中难以应用。未配对图像翻译虽更适用于模拟到真实迁移，但对于复杂自然场景仍难以学习。为应对这些挑战，我们提出第三类：近似配对的模拟到真实翻译，其中源图像与目标图像无需精确配对。我们的近似配对方法 AptSim2Real 利用了模拟器可在光照、环境与构图方面生成松散类似于真实世界场景这一事实。我们新颖的训练策略带来了显著的定性与定量改进，与最先进的未配对图像翻译方法相比，FID 分数最高提升 24%。
引用
@article{arxiv.2303.12704,
title = {AptSim2Real: Approximately-Paired Sim-to-Real Image Translation},
author = {Charles Y Zhang and Ashish Shrivastava},
journal= {arXiv preprint arXiv:2303.12704},
year = {2023}
}