用于训练具挑战性标签视觉任务的边缘引导多域RGB到TIR图像翻译
计算机视觉与模式识别
2023-01-31 v1 机器人学
摘要
标注热红外(TIR)图像数据集的不足不仅阻碍基于TIR图像的深度学习网络取得与RGB相当的性能，也限制了带挑战性标签的基于TIR图像任务的监督学习。作为补救，我们提出一种聚焦于边缘保持的改进多域RGB到TIR图像翻译模型，以利用带挑战性标签的标注RGB图像。我们所提方法在应用于合成与真实世界RGB图像时，不仅保持原图像的关键细节，还利用最优TIR风格码在翻译图像中刻画准确的TIR特性。使用我们的翻译模型，我们实现了基于深度TIR图像的光流估计与物体检测的监督学习，其中深度TIR光流估计的端点误差平均降低56.5%，最佳物体检测mAP分别为23.9%。我们的代码与补充材料见于 https://github.com/rpmsnu/sRGB-TIR。
引用
@article{arxiv.2301.12689,
title = {Edge-guided Multi-domain RGB-to-TIR image Translation for Training Vision Tasks with Challenging Labels},
author = {Dong-Guw Lee and Myung-Hwan Jeon and Younggun Cho and Ayoung Kim},
journal= {arXiv preprint arXiv:2301.12689},
year = {2023}
}
备注
Accepted Contributed Paper to 2023 IEEE International Conference on Robotics and Automation (ICRA)