用于视频压缩感知的运动感知动态图神经网络
计算机视觉与模式识别
2024-06-07 v2
摘要
视频快照压缩成像（SCI）利用二维探测器捕获连续视频帧并将其压缩为单次测量。已开发出多种重建方法从快照测量中恢复高速视频帧。然而，大多数现有重建方法无法有效捕获对视频处理至关重要的长程时空依赖关系。本文提出了一种基于图神经网络（GNN）的灵活且鲁棒的方法，以高效建模空间和时间中像素间的非局部交互，无论距离远近。具体来说，我们开发了一种运动感知动态 GNN 以实现更好的视频表示，即将每个节点表示为在逐帧运动引导下的相对邻居的聚合，该网络包含运动感知动态采样、跨尺度节点采样、全局知识集成和图聚合。在仿真和真实数据上的大量结果证明了所提方法的有效性和效率，可视化结果展示了我们提出的模型为提升视频 SCI 重建结果而进行的内在动态采样操作。代码和模型将发布。
引用
@article{arxiv.2203.00387,
title = {Motion-aware Dynamic Graph Neural Network for Video Compressive Sensing},
author = {Ruiying Lu and Ziheng Cheng and Bo Chen and Xin Yuan},
journal= {arXiv preprint arXiv:2203.00387},
year = {2024}
}