用于计算机视觉的剪枝轻量级编码器
计算机视觉与模式识别
2022-11-24 v1
摘要
对延迟敏感的计算机视觉系统，如自动驾驶或无人机控制，在将神经网络推理卸载到远程计算机时需要快速的图像或视频压缩。为确保近传感器边缘设备的低延迟，我们提出使用具有恒定比特率且经剪枝编码配置的轻量级编码器，即ASTC和JPEG XS。剪枝会引入显著失真，我们展示可通过在解压缩后用压缩数据重新训练神经网络来恢复。该方法不修改网络架构，也无需改动编码格式。通过用压缩数据集重新训练，我们将因ASTC压缩导致的分类准确率和分割平均交并比(mIoU)下降分别减小至4.9-5.0个百分点(pp)和4.4-4.0 pp。用同样方法，因JPEG XS主配置文件压缩而损失的mIoU被恢复至2.7-2.3 pp。在编码速度方面，我们的ASTC编码器实现比JPEG快2.3倍。尽管JPEG XS参考编码器需要优化才能达到低延迟，我们展示了禁用显著性标志编码可节省22-23%的编码时间，代价是重新训练后0.4-0.3 mIoU的损失。
引用
@article{arxiv.2211.13137,
title = {Pruned Lightweight Encoders for Computer Vision},
author = {Jakub Žádník and Markku Mäkitalo and Pekka Jääskeläinen},
journal= {arXiv preprint arXiv:2211.13137},
year = {2022}
}