相似度极小极大：零样本昼夜域适应
计算机视觉与模式识别
2023-11-07 v3
摘要
低光照条件不仅损害人类视觉体验，还会降低模型在下游视觉任务上的性能。尽管现有工作在昼夜域适应上取得显著进展，但它们严重依赖从特定任务夜间数据集获得的领域知识。本文挑战更具边界适用性的更复杂场景，即零样本昼夜域适应，其消除对任何夜间数据的依赖。不同于先前强调图像级翻译或模型级适应的零样本适应方法，我们提出一种相似度极小极大范式，在统一框架下考量二者。在图像层面，我们将图像变暗以趋向最小特征相似度，从而扩大域间隙。随后在模型层面，我们最大化变暗图像与其正常光照对应图像间的特征相似度，以实现更好的模型适应。据我们所知，本工作是联合优化两方面的开创性努力，显著提升了模型泛化能力。大量实验证明了我们的方法在各种夜间视觉任务（包括分类、语义分割、视觉地点识别和视频动作识别）上的有效性与广泛适用性。代码与预训练模型见 https://red-fairy.github.io/ZeroShotDayNightDA-Webpage/。
引用
@article{arxiv.2307.08779,
title = {Similarity Min-Max: Zero-Shot Day-Night Domain Adaptation},
author = {Rundong Luo and Wenjing Wang and Wenhan Yang and Jiaying Liu},
journal= {arXiv preprint arXiv:2307.08779},
year = {2023}
}
备注
ICCV 2023 (Oral)