带辅助条件的图像到图像变换
计算机视觉与模式识别
2021-06-28 v1
摘要
诸如人体姿态检测等图像识别任务,在使用模拟图像训练时通常会因真实与模拟数据间的差异而性能下降。为使模拟图像的分布接近真实图像,已有若干工作应用基于GAN的图像到图像变换方法,例如SimGAN和CycleGAN。然而,这些方法对主体姿态与形状的各种变化不够敏感,尤其在训练数据不平衡时——例如某些特定姿态和形状在训练数据中占比很小。为克服该问题,我们提出在CycleGAN训练中引入主体的标签信息(如姿态和对象类型),并使其获得标签级的变换模型。我们通过SVHN到MNIST的数字图像变换实验以及从模拟到真实的监控摄像头图像变换实验,评估了所提出的方法Label-CycleGAN。
引用
@article{arxiv.2106.13696,
title = {Image-to-image Transformation with Auxiliary Condition},
author = {Robert Leer and Hessi Roma and James Amelia},
journal= {arXiv preprint arXiv:2106.13696},
year = {2021}
}