用于训练中利用虚拟图像的渐进式变换学习
计算机视觉与模式识别
2023-03-29 v2
摘要
为有效检视基于无人机的图像以检测感兴趣目标（如人），必须获取大规模的基于无人机的数据集，其中包含从广泛变化的视角捕获的具有各种姿态的人体实例。作为费力且昂贵的数据整理的可行替代方案，我们提出渐进式变换学习（PTL），其通过逐步添加具有增强真实感的变换后虚拟图像来扩充训练数据集。通常，条件GAN框架中的virtual2real变换生成器在真实与虚拟图像间存在较大域间隙时会遭遇质量退化。为应对域间隙，PTL采用一种新颖方法，渐进式迭代以下三步：1) 根据域间隙从虚拟图像池中选取子集，2) 变换所选虚拟图像以增强真实感，3) 将变换后虚拟图像加入训练集并从池中移除。在PTL中，准确量化域间隙至关重要。为此，我们从理论上证明给定目标检测器的特征表示空间可建模为多元高斯分布，由此可便捷计算虚拟目标与该表示空间中各目标类别高斯分布的马氏距离。实验表明，PTL相较基线带来大幅性能提升，尤其在少数据与跨域情形下。
引用
@article{arxiv.2211.01778,
title = {Progressive Transformation Learning for Leveraging Virtual Images in Training},
author = {Yi-Ting Shen and Hyungtae Lee and Heesung Kwon and Shuvra Shikhar Bhattacharyya},
journal= {arXiv preprint arXiv:2211.01778},
year = {2023}
}
备注
CVPR 2023 (Selected as Highlight)