雨中见 SIFT
图像与视频处理
2023-11-02 v1
摘要
雨纹带来复杂的像素强度变化和额外梯度，极大阻碍了从背景中提取图像特征。这导致基于特征的应用出现严重性能下降。因此，从单幅雨图中去除雨纹以恢复图像特征至关重要。近来，许多优秀的图像去雨方法取得了显著进展。然而，这些受人类视觉系统驱动的方法主要以像素恢复为损失函数改善图像质量，忽视了如何增强图像特征恢复能力。为解决此问题，我们提出一种任务驱动的图像去雨算法，为后续基于特征的应用强化图像特征供给。鉴于尺度不变特征变换 (Scale-Invariant Feature Transform, SIFT) 的广泛使用与强实用性，我们首先提出两个采用不同损失与模块的独立网络以分别实现两个目标。其一为用于 SIFT 检测的高斯差分 (difference of Gaussian, DoG) 金字塔恢复网络 (DPRNet)，其二为用于 SIFT 描述的高斯图像梯度恢复网络 (GGIRNet)。其次，在 DPRNet 中我们提出一种替代兴趣点损失，直接惩罚尺度响应极值以恢复 DoG 金字塔。第三，我们在 GGIRNet 中推进一种梯度注意力模块以恢复那些高斯图像的梯度。最后，利用恢复出的 DoG 金字塔与梯度，我们可重新获得 SIFT 关键点。这种为 SIFT 检测与描述设定不同目标的分而治之方案带来了良好鲁棒性。与最先进方法相比，实验结果表明我们提出的算法在恢复的 SIFT 关键点数量及其精度上均取得更优性能。
引用
@article{arxiv.2311.00518,
title = {See SIFT in a Rain},
author = {Wei Wu and Hao Chang and Zhu Li},
journal= {arXiv preprint arXiv:2311.00518},
year = {2023}
}
备注
A direct DoG feature pyramid recovery from rainy pixels solution for SIFT detection, accepted by T-CSVT, 2023