逆天气光流：累积的齐同-异质适应
计算机视觉与模式识别
2024-09-26 v1
摘要
光流在整洁场景中取得了很大进展，但在逆天气情况下因违反亮度不变性和梯度连续性假设而性能下降。通常，现有方法主要采用域适应将干净域的运动知识传递到退化域，但这种直接适应效果不佳，因为逆天气和场景风格之间存在很大差距。此外，在退化域内部，静态天气（如雾）和动态天气（如雨）对光流的影响也不同。为此，我们探索作为干净域与真实退化域之间中间桥梁的合成退化域，提出一种用于真实逆天气光流的累积齐同-异质适应框架。具体而言，对于干净-退化转换，我们的关键洞察是静态天气具有深度关联的齐同特征，这不会改变场景的本质运动，而动态天气额外引入了异质特征，导致干净域和退化域之间在错位误差中存在显著的边界差异。对于合成-真实转换，我们发现成本体积相关在合成和真实退化域之间共享相似的统计直方图，这有助于整体地对齐合成-真实知识蒸馏中的齐同相关分布。在这个统一的框架下，所提出的方法可以逐步且明确地将知识从干净场景传递到真实逆天气环境。此外，我们进一步收集了一个带有手动标注光流标签的真实逆天气数据集，并进行大量实验以验证所提方法的优越性。
引用
@article{arxiv.2409.17001,
title = {Adverse Weather Optical Flow: Cumulative Homogeneous-Heterogeneous Adaptation},
author = {Hanyu Zhou and Yi Chang and Zhiwei Shi and Wending Yan and Gang Chen and Yonghong Tian and Luxin Yan},
journal= {arXiv preprint arXiv:2409.17001},
year = {2024}
}