事件增强的10K FPS快照压缩摄像
图像与视频处理
2024-04-12 v1 计算机视觉与模式识别
摘要
视频快照压缩成像将目标动态场景紧凑地编码到一张快照中，随后重建其高速帧序列，从而大幅减少所需的数据占用和传输带宽，并实现使用低帧率强度相机进行高速成像。在实现中，高速动态通过随时间变化的模式进行编码，只能重建相应时间间隔内的帧，而连续帧之间发生的动态信息则丢失了。为了释放传统快照压缩摄像的潜力，我们提出了一种新颖的混合“强度+事件”成像方案，将事件相机集成到视频SCI装置中。我们提出的系统由一个双光路光学装置组成，用于同时记录编码的强度测量值和中间事件信号，该系统紧凑且光子效率高，因为它收集了传统视频SCI中丢弃的一半光子。相应地，我们开发了一个双分支Transformer，利用两种数据模式之间的互惠关系来解码密集的视频帧。在模拟和真实采集数据上的大量实验表明，我们优于最先进的视频SCI和视频帧插值方法。得益于这种利用视频内在冗余性和事件相机独特功能的新型混合设计，我们使用工作在24 FPS的低成本CMOS图像传感器，实现了0.1毫秒时间间隔的高质量摄像。
引用
@article{arxiv.2404.07551,
title = {Event-Enhanced Snapshot Compressive Videography at 10K FPS},
author = {Bo Zhang and Jinli Suo and Qionghai Dai},
journal= {arXiv preprint arXiv:2404.07551},
year = {2024}
}