基于物理的深度学习用于从视频估计湍流强度$C_n^2$
计算机视觉与模式识别
2024-08-30 v1 机器学习
图像与视频处理
摘要
来自长距离的图像因空气细胞(具有随机温度和折射率)的湍流流动而产生动态图像失真,这种现象称为图像抖动,通常以其折射率结构常数作为湍流强度的度量。对于大气气象模型、远距离/天文成像和航空安全、光学通信等许多应用,估计对于准确感知湍流环境至关重要。以前的估计方法包括从气象数据(温度、相对湿度、风切变等)进行单点测量、从光学湍流仪进行双端路径长度测量以获得路径平均的,以及最近从被动视频摄像机进行测量以实现低成本和硬件复杂度。本文我们对经典图像梯度方法和现代深度学习方法(利用卷积神经网络)进行了比较分析。为此,我们收集了视频捕获数据集,包含参考湍流仪测量值作为真实值,并将独特数据集发布给科学界。我们观察到,深度学习方法在训练数据相似时可实现更高精度,但在面对其他不可见图像时会出现泛化误差,优于经典方法。为克服这一权衡,我们提出了一种新型物理驱动的网络架构,将学习的卷积层与可微分的图像梯度方法相结合,既保持了高精度,又在不同图像数据集之间具有良好的可泛化性。
引用
@article{arxiv.2408.16623,
title = {Turbulence Strength $C_n^2$ Estimation from Video using Physics-based Deep Learning},
author = {Ripon Kumar Saha and Esen Salcin and Jihoo Kim and Joseph Smith and Suren Jayasuriya},
journal= {arXiv preprint arXiv:2408.16623},
year = {2024}
}
备注
Code Available: https://github.com/Riponcs/Cn2Estimation