面向视频压缩感知的分层交互式重建网络
计算机视觉与模式识别
2023-04-18 v1 图像与视频处理
摘要
近年来，基于深度网络的图像与视频压缩感知（CS）受到越来越多的关注。然而，在现有的基于深度网络的 CS 方法中，通常采用简单的堆叠卷积网络，这不仅削弱了对丰富上下文先验知识的感知，也限制了对视频帧间相关性的挖掘。本文提出一种新颖的分层交互式视频 CS 重建网络（HIT-VCSNet），该网络可协同利用空间域与时间域中的深度先验以提升重建质量。具体而言，在空间域中，设计了一种新颖的分层结构，可从关键帧与非关键帧中分层提取深度特征；在时间域中，提出了一种新颖的分层交互机制，可在多尺度空间中协同学习不同帧之间的相关性。大量实验表明，所提出的 HIT-VCSNet 大幅优于现有的最优视频与图像 CS 方法。
引用
@article{arxiv.2304.07473,
title = {Hierarchical Interactive Reconstruction Network For Video Compressive Sensing},
author = {Tong Zhang and Wenxue Cui and Chen Hui and Feng Jiang},
journal= {arXiv preprint arXiv:2304.07473},
year = {2023}
}