面向机器的端到端优化图像压缩:一项研究
图像与视频处理
2020-11-13 v1 计算机视觉与模式识别
摘要
越来越多的图像和视频内容由机器分析而非人类观看,因此针对远程执行此类应用优化编解码器变得 relevant。遗憾的是,传统编码工具难以针对机器任务专门化,因为它们最初是为人类感知设计的。然而,基于神经网络的编解码器可与任何基于卷积神经网络(CNN)的任务模型进行端到端联合训练。在本文中,我们提出研究一种端到端框架,利用由压缩模块和任务算法组成的链路实现远程机器任务分析的高效图像压缩,该链路可端到端优化。我们表明,在联合微调编解码器和任务网络时,尤其在低码率下,可显著提升任务精度。根据训练或部署约束,可仅对编码器、解码器或任务网络进行选择性微调,仍可比现成编解码器和任务网络取得率-精度改进。我们的结果也证明了端到端流水线在实际应用中的灵活性。
引用
@article{arxiv.2011.06409,
title = {End-to-end optimized image compression for machines, a study},
author = {Lahiru D. Chamain and Fabien Racapé and Jean Bégaint and Akshay Pushparaja and Simon Feltman},
journal= {arXiv preprint arXiv:2011.06409},
year = {2020}
}
备注
10 pages