ConVRT：通过神经视频表示的测试时优化实现湍流下的一致性视频复原
图像与视频处理
2023-12-11 v1 计算机视觉与模式识别
摘要
大气湍流对远距离成像构成重大挑战。当前的复原算法常常面临时间不一致性，以及对不同湍流强度和不同于训练数据的场景内容泛化能力有限的问题。为解决这些问题，我们提出了一种自监督方法——湍流下的一致性视频复原（ConVRT），这是一种测试时优化方法，其特点在于采用了一种旨在增强复原中时间一致性的神经视频表示。ConVRT的一个关键创新是集成了预训练的视觉-语言模型（CLIP）进行语义导向的监督，从而在CLIP潜在空间中将复原引导至清晰、逼真的图像。我们进一步基于文本提示与感知度量的统计相关性，开发了一种原则性的提示选择策略。ConVRT的测试时优化使其能够适应广泛的真实世界湍流条件，有效利用了在模拟数据上预训练模型所获得的洞察。ConVRT为缓解动态视频中的真实世界湍流提供了一种全面且有效的解决方案。
引用
@article{arxiv.2312.04679,
title = {ConVRT: Consistent Video Restoration Through Turbulence with Test-time Optimization of Neural Video Representations},
author = {Haoming Cai and Jingxi Chen and Brandon Y. Feng and Weiyun Jiang and Mingyang Xie and Kevin Zhang and Ashok Veeraraghavan and Christopher Metzler},
journal= {arXiv preprint arXiv:2312.04679},
year = {2023}
}
备注
https://convrt-2024.github.io/