NeuriCam：面向物联网摄像头的键帧视频超分辨率与着色
计算机视觉与模式识别
2023-04-17 v2
摘要
我们提出 NeuriCam，一种基于深度学习的新型系统，用于实现低功耗双模物联网摄像头系统的视频采集。我们的思路是设计一种双模摄像头系统：第一模式低功耗（1.1 mW）但仅输出灰度、低分辨率且含噪的视频，第二模式功耗高得多（100 mW）但输出彩色与较高分辨率图像。为降低总能耗，我们对高功耗模式进行重度占空比控制，仅每秒输出一次图像。该摄像头系统的数据随后经无线发送至附近的插电网关，我们在其上运行实时神经网络解码器以重建较高分辨率彩色视频。为此，我们引入一种注意力特征滤波机制，基于特征图与输入帧内容在每个空间位置的相关性，对不同特征赋予不同权重。我们使用现成摄像头设计了无线硬件原型，并解决了包括丢包与视角失配在内的实际问题。我们的评估显示，相较现有系统，双摄像头方案能耗降低 7 倍。此外，我们的模型相较先前单摄像头与双摄像头视频超分辨率方法取得平均灰度 PSNR 增益 3.7 dB，相较先前颜色传播方法取得 5.6 dB RGB 增益。开源代码：https://github.com/vb000/NeuriCam。
引用
@article{arxiv.2207.12496,
title = {NeuriCam: Key-Frame Video Super-Resolution and Colorization for IoT Cameras},
author = {Bandhav Veluri and Collin Pernu and Ali Saffari and Joshua Smith and Michael Taylor and Shyamnath Gollakota},
journal= {arXiv preprint arXiv:2207.12496},
year = {2023}
}
备注
MobiCom 2023 camera-ready