使用 Tri-Cycle GAN 的无监督真实世界深度图像增强
计算机视觉与模式识别
2020-01-14 v1 机器学习
图像与视频处理
摘要
低质量深度给计算机视觉算法带来相当大的挑战。在这项工作中，我们旨在增强由低成本传感器获取的高度退化的真实世界深度图像，对此无法获得解析噪声模型。在缺乏干净真值的情况下，我们将该任务视为低质量传感器域与高质量传感器域之间的无监督域翻译，使用两个不成对的训练集表示。我们在此任务上采用非常成功的 Cycle-GAN，但发现其在这种情况下的表现很差。找出失败根源后，我们对框架进行了若干修改，包括更大的生成器架构、考虑缺失像素的深度特定损失，以及一种新颖的 Tri-Cycle 损失，它在解决域间不对称的同时促进信息保持。我们表明，所得框架在视觉和定量上都大幅优于原始 Cycle-GAN，将其适用性扩展到更具挑战性和不对称的翻译任务。
引用
@article{arxiv.2001.03779,
title = {Unsupervised Enhancement of Real-World Depth Images Using Tri-Cycle GAN},
author = {Alona Baruhov and Guy Gilboa},
journal= {arXiv preprint arXiv:2001.03779},
year = {2020}
}