源于实践的真知：用于视频恶劣天气去除的扩散测试时自适应
计算机视觉与模式识别
2024-03-13 v1
摘要
现实世界的视觉任务经常受到意外恶劣天气条件出现的影响，包括雨、雾、雪和雨滴。在过去十年中，卷积神经网络和视觉Transformer在单一天气视频去除方面取得了出色的结果。然而，由于缺乏适当的自适应，它们中的大多数无法泛化到其他天气条件。尽管提出了ViWS-Net以使用单组预训练权重去除视频中的恶劣天气条件，但它在训练时被所见天气严重蒙蔽，并在测试时遇到未见天气时退化。在这项工作中，我们将测试时自适应引入视频恶劣天气去除中，并提出了首个将测试时自适应集成到迭代扩散反向过程中的框架。具体而言，我们设计了一个带有新颖时间噪声模型的基于扩散的网络，以在训练阶段高效探索退化视频片段中帧相关信息。在推理阶段，我们引入了一个名为扩散管自校准的代理任务，以学习测试视频流的初始分布，并通过逼近时间噪声模型进行在线自适应来优化模型。在基准数据集上的实验结果表明，我们基于扩散网络的测试时自适应方法（Diff-TTA）在恢复由所见天气条件退化的视频方面优于最先进的方法。其泛化能力也在合成和真实世界视频中的未见天气条件下得到了验证。
引用
@article{arxiv.2403.07684,
title = {Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for Video Adverse Weather Removal},
author = {Yijun Yang and Hongtao Wu and Angelica I. Aviles-Rivero and Yulun Zhang and Jing Qin and Lei Zhu},
journal= {arXiv preprint arXiv:2403.07684},
year = {2024}
}