SAVeD: 学习低信噪比视频去噪以提高下游性能
计算机视觉与模式识别
2025-10-14 v2
摘要
低信噪比视频——如水下声纳、超声和显微镜视频——为计算机视觉模型带来了重大挑战，尤其是在缺乏配对干净图像的情况下。我们提出了 Spatiotemporal Augmentations and denoising in Video for Downstream Tasks（SAVeD），一种新型自监督方法，通过仅使用原始噪声数据对低信噪比传感器视频进行去噪。通过利用前景与背景运动的差异并放大运动信号更强的物体，SAVeD 增强了前景物体的可见性，减少了背景和相机噪声，而无需干净视频。SAVeD 具备一组架构优化，使其在吞吐量、训练和推理方面快于现有深度学习方法。我们还引入了新的去噪指标 FBD，该指标用于检测数据集中前景-背景的发散程度，而无需干净图像。我们的做法实现了分类、检测、跟踪和计数任务的领先性能，并且所需的训练资源少于现有的深度学习去噪方法。项目页面：https://suzanne-stathatos.github.io/SAVeD 代码页面：https://github.com/suzanne-stathatos/SAVeD
引用
@article{arxiv.2504.00161,
title = {SAVeD: Learning to Denoise Low-SNR Video for Improved Downstream Performance},
author = {Suzanne Stathatos and Michael Hobley and Pietro Perona and Markus Marks},
journal= {arXiv preprint arXiv:2504.00161},
year = {2025}
}
备注
Project page: https://suzanne-stathatos.github.io/SAVeD Code page: https://github.com/suzanne-stathatos/SAVeD