局部运动与对比度先验驱动的红外小目标超分辨率深度网络
图像与视频处理
2023-04-05 v5 计算机视觉与模式识别
摘要
红外小目标超分辨率（SR）旨在从其低分辨率对应图像中恢复出具有高通目标且细节可靠的高分辨率图像。由于红外小目标缺乏颜色和精细结构信息，利用序列图像间的补充信息来增强目标具有重要意义。在本文中，我们提出了首个红外小目标 SR 方法，称为局部运动与对比度先验驱动的深度学习网络（MoCoPnet），将红外小目标的领域知识整合到深度网络中，从而缓解红外小目标固有的特征稀缺性。具体而言，受时空维度中局部运动先验的启发，我们提出一个局部时空注意力模块来执行隐式帧对齐，并融合局部时空信息以增强局部特征（尤其是小目标）。受空间维度中局部对比度先验的启发，我们提出一个中心差分残差组，将中心差分卷积整合到特征提取主干中，从而实现面向中心的梯度感知特征提取，以进一步提高目标对比度。大量实验表明，我们的方法能够恢复准确的空间依赖关系并提升目标对比度。对比结果显示，MoCoPnet 在 SR 性能和目标增强方面均优于最先进的视频 SR 和单图像 SR 方法。基于 SR 结果，我们进一步研究了 SR 对红外小目标检测的影响，实验结果表明 MoCoPnet 提升了检测性能。代码可在 https://github.com/XinyiYing/MoCoPnet 获取。
引用
@article{arxiv.2201.01014,
title = {Local Motion and Contrast Priors Driven Deep Network for Infrared Small Target Super-Resolution},
author = {Xinyi Ying and Yingqian Wang and Longguang Wang and Weidong Sheng and Li Liu and Zaiping Lin and Shilin Zhou},
journal= {arXiv preprint arXiv:2201.01014},
year = {2023}
}