基于物理先验引导的协作学习框架用于联合湍流退化估计与红外视频恢复
图像与视频处理
2024-08-09 v1 计算机视觉与模式识别
摘要
红外成像与湍流强度测量在诸多领域广受需求。本文引入 Physical Prior Guided Cooperative Learning（P2GCL）框架，以联合增强大气湍流强度估计和红外图像恢复。P2GCL 包含两个模型之间的循环合作，即 TMNet 测量湍流强度并输出折射指数结构常数（Cn2）作为物理先验，TRNet 基于 Cn2 进行红外图像序列恢复，并将恢复后的图像反馈给 TMNet 以提高测量精度。引入 novel 的 Cn2 引导频率损失函数和物理约束损失，以将训练过程与物理理论一致。实验表明，P2GCL 在两项任务中均实现了最佳性能：湍流强度估计（Cn2 MAE 降低 0.0156，R2 提升 0.1065）和图像恢复（PSNR 提升 0.2775 dB），验证了物理先验引导协作学习的显著影响。
引用
@article{arxiv.2408.04227,
title = {Physical prior guided cooperative learning framework for joint turbulence degradation estimation and infrared video restoration},
author = {Ziran Zhang and Yuhang Tang and Zhigang Wang and Yueting Chen and Bin Zhao},
journal= {arXiv preprint arXiv:2408.04227},
year = {2024}
}
备注
21