基于深度学习从视频中提取全场亚像素结构位移

本文开发了一种基于卷积神经网络（CNNs）的深度学习框架，可实时从视频中提取全场亚像素结构位移。具体而言，设计了两种新的 CNN 架构，并在由基于相位的运动提取方法从一段实验室记录的单段动态结构高速视频生成的数据集上进行训练。由于位移仅在具有足够纹理对比度的区域可靠，由纹理掩膜引起的运动场稀疏性通过网络架构设计与损失函数定义加以考虑。结果表明，在全运动场与稀疏运动场监督下，所训练网络能够识别具有足够纹理对比度的像素及其亚像素运动。所训练网络的性能在各种其他结构视频上进行了测试以提取全场运动（例如位移时程），表明所训练网络具有泛化能力，可准确提取具有足够纹理对比度像素的全场微小位移。