BlockCopy：基于块稀疏特征传播与在线策略的高分辨率视频处理
计算机视觉与模式识别
2022-08-08 v2
摘要
本文提出 BlockCopy，一种相较于标准逐帧处理能加速预训练基于帧的 CNN 以更高效处理视频的方案。为此，一个轻量级策略网络确定图像中的重要区域，且仅对所选区域使用自定义块稀疏卷积进行操作。非选中区域的特征直接从前一帧复制，从而减少计算量和延迟。该执行策略以在线方式使用强化学习进行训练，无需真实标注。我们的通用框架在密集预测任务上得到验证，如行人检测、实例分割和语义分割，使用了最先进的（Center and Scale Predictor、MGAN、SwiftNet）和标准基线网络（Mask-RCNN、DeepLabV3+）。BlockCopy 在精度影响极小的情况下实现了显著的 FLOPS 节省和推理加速。
引用
@article{arxiv.2108.09376,
title = {BlockCopy: High-Resolution Video Processing with Block-Sparse Feature Propagation and Online Policies},
author = {Thomas Verelst and Tinne Tuytelaars},
journal= {arXiv preprint arXiv:2108.09376},
year = {2022}
}
备注
Accepted for International Conference on Computer Vision (ICCV 2021)