基于混合事件相机的耦合视频帧插值与编码用于低功耗高帧率视频
图像与视频处理
2025-03-31 v1
摘要
每一代移动设备都力求以高于前代的分辨率和帧率捕获视频。这种质量提升也需要额外的功耗和计算来捕获和编码高质量媒体。我们提出一种方法，降低捕获高质量视频的总体功耗。在视频帧插值 (VFI) 的情况下，传感器可被驱动以较低的帧率，从而降低传感器功耗。借助现代 RGB 混合事件基于视觉传感器 (EVS)，事件数据可用于指导插值，实现显著更高的质量。若直接应用插值方法，可能昂贵且在视频编码之前会产生大量中间数据。本文提出一种视频编码器，用于生成高帧率视频的比特流，而无需显式插值。该方法估计编码视频数据（尤其是运动矢量），因此，可直接生成编码视频文件，而无需显式生成中间帧。
引用
@article{arxiv.2503.22491,
title = {Coupled Video Frame Interpolation and Encoding with Hybrid Event Cameras for Low-Power High-Framerate Video},
author = {Hidekazu Takahashi and Takefumi Nagumo and Kensei Jo and Aumiller Andreas and Saeed Rad and Rodrigo Caye Daudt and Yoshitaka Miyatani and Hayato Wakabayashi and Christian Brandli},
journal= {arXiv preprint arXiv:2503.22491},
year = {2025}
}
备注
5 pages, 3 figures