用于高效视频处理的跳跃卷积
计算机视觉与模式识别
2021-04-26 v1 机器学习
摘要
我们提出跳跃卷积(Skip-Convolutions)以利用视频流中的大量冗余并节省计算。每个视频被表示为跨帧及网络激活的变化序列，记为残差。我们重构标准卷积使其在残差帧上高效计算：每一层耦合一个二值门，决定某个残差对模型预测是否重要（例如前景区域），或可被安全跳过（例如背景区域）。这些门既可实现为与卷积核联合训练的高效网络，也可简单地基于残差幅值跳过。门控函数也可纳入块级稀疏结构，以满足硬件平台的高效实现需求。通过在两个最先进架构即EfficientDet和HRNet中将全部卷积替换为跳跃卷积，我们在两项不同任务上将其计算成本一致降低3~4倍，且精度无任何下降。与现有模型压缩及图像、视频效率方法的广泛比较表明，跳跃卷积通过有效利用视频中的时间冗余确立了新的SOTA。
引用
@article{arxiv.2104.11487,
title = {Skip-Convolutions for Efficient Video Processing},
author = {Amirhossein Habibian and Davide Abati and Taco S. Cohen and Babak Ehteshami Bejnordi},
journal= {arXiv preprint arXiv:2104.11487},
year = {2021}
}
备注
CVPR 2021