基于GAN的图像到图像翻译中对比学习的注意力机制
计算机视觉与模式识别
2023-02-24 v1 机器学习
图像与视频处理
摘要
利用真实道路测试来优化自动驾驶算法耗时且成本高昂。为解决该问题，我们提出了一种基于GAN的模型，能够跨不同域生成高质量图像。我们进一步利用对比学习，使用真实传感器采集的真实世界图像数据和来自3D游戏的模拟图像，以自监督方式训练该模型。本文还应用了注意力机制模块，根据其显著性度量来强调包含更多源域信息的特征。最后，生成的图像被用作数据集来训练神经网络以执行多种下游任务，从而验证该方法能够填补虚拟与现实世界之间的鸿沟。
引用
@article{arxiv.2302.12052,
title = {Attention Mechanism for Contrastive Learning in GAN-based Image-to-Image Translation},
author = {Hanzhen Zhang and Liguo Zhou and Ruining Wang and Alois Knoll},
journal= {arXiv preprint arXiv:2302.12052},
year = {2023}
}