面向恶劣天气光流的无监督分层域自适应
计算机视觉与模式识别
2023-03-27 v1
摘要
光流估计已取得巨大进展，但在恶劣天气下通常会出现性能退化。尽管半监督/全监督方法已作出良好尝试，合成与真实恶劣天气图像之间的域偏移会恶化其性能。为缓解此问题，我们的出发点是将知识从源干净域无监督地迁移到目标退化域。我们的核心见解是：恶劣天气不会改变场景的固有光流，但会导致干净图像与退化图像之间 warp 误差的显著差异。在这项工作中，我们通过分层运动-边界自适应提出了首个面向恶劣天气光流的无监督框架。具体而言，我们首先利用图像翻译构建干净域与退化域之间的变换关系。在运动自适应中，我们利用光流一致性知识将跨域光流对齐到一个运动不变公共空间，其中干净天气的光流被用作引导知识以获得恶劣天气的初步光流。此外，我们利用 warp 误差不一致性来度量干净域与退化域之间边界的运动错位，并提出一种联合场景内与场景间边界对比自适应来精炼运动边界。分层运动与边界自适应在一个统一框架中共同提升光流。我们进行了大量定量与定性实验来验证所提方法的优越性。
引用
@article{arxiv.2303.13761,
title = {Unsupervised Hierarchical Domain Adaptation for Adverse Weather Optical Flow},
author = {Hanyu Zhou and Yi Chang and Gang Chen and Luxin Yan},
journal= {arXiv preprint arXiv:2303.13761},
year = {2023}
}