用于夜间监控的解耦对比图像翻译
计算机视觉与模式识别
2023-07-12 v1
摘要
夜间监控因光照不足与人工标注困难而退化。这在夜间具有挑战性且仍是安全隐患。现有方法依赖多光谱图像感知暗处物体，但受困于低分辨率与色彩缺失。我们认为夜间监控的终极方案是夜到日翻译，即 Night2Day，旨在将监控场景从夜间翻译为白天同时保持语义一致性。为此，本文提出一种解耦对比（DiCo）学习方法。具体而言，针对夜间场景光照差且复杂的问题，我们提出可学习的物理先验，即颜色不变量，其对高度动态的夜间环境提供稳定感知，并可融入神经网络的学习流程。面向监控场景，我们开发了分解表示，即一种将监控场景通过对比学习分离为前景与背景的辅助预训练任务。该策略可在无监督下提取语义，并提升模型实现实例感知翻译。最后，我们将上述所有模块整合进生成对抗网络（GAN）并实现高保真翻译。本文还贡献了一个名为 NightSuR 的新监控数据集，包含六个场景以支持夜间监控研究。该数据集收集了具有不同夜间环境特性（如眩光与极端黑暗）的夜间图像。大量实验表明我们的方法显著优于现有工作。数据集与源代码将很快发布于 GitHub。
引用
@article{arxiv.2307.05038,
title = {Disentangled Contrastive Image Translation for Nighttime Surveillance},
author = {Guanzhou Lan and Bin Zhao and Xuelong Li},
journal= {arXiv preprint arXiv:2307.05038},
year = {2023}
}
备注
Submitted to TIP