DeltaCNN：视频中稀疏帧差端到端 CNN 推理
计算机视觉与模式识别
2023-09-06 v2 机器学习
摘要
视频数据上的卷积神经网络推理需要强大的硬件以进行实时处理。鉴于连续帧之间固有的相干性，视频的大部分通常变化很小。通过跳过相同的图像区域并截断不显著的像素更新，理论上可显著减少计算冗余。然而，这些理论上的节省难以转化为实践，因为稀疏更新破坏了计算一致性和内存访问一致性；而这两者是实现真实硬件上效率的关键。通过 DeltaCNN，我们提出了一种稀疏卷积神经网络框架，可实现稀疏的逐帧更新，从而在实践中加速视频推理。我们为所有典型 CNN 层提供了稀疏实现，并端到端传播稀疏特征更新——不会随时间累积误差。DeltaCNN 适用于所有卷积神经网络且无需重新训练。据我们所知，我们首个在实际设置中显著优于稠密参考 cuDNN，实现了最高 7 倍的加速，且精度仅有微小差异。
引用
@article{arxiv.2203.03996,
title = {DeltaCNN: End-to-End CNN Inference of Sparse Frame Differences in Videos},
author = {Mathias Parger and Chengcheng Tang and Christopher D. Twigg and Cem Keskin and Robert Wang and Markus Steinberger},
journal= {arXiv preprint arXiv:2203.03996},
year = {2023}
}
备注
CVPR 2022