任务驱动语义失真度量下的强化比特分配
图像与视频处理
2020-02-11 v2 机器学习
摘要
快速增长的人工智能应用需要优化图像/视频编码中的比特分配，以支持检测、分类、分割等特定任务驱动场景。一些基于学习的框架因其固有的端到端优化机制已被提出用于此目的。然而，将这些任务驱动度量无缝集成到传统混合编码框架中仍极具挑战。据我们所知，本文是首次尝试基于强化学习（RL）方法解决这一挑战的工作。具体而言，我们将比特分配问题形式化为马尔可夫决策过程（MDP），并训练RL智能体根据任务驱动的语义失真度量，自动决定HEVC帧内编码中每个编码树单元（CTU）的量化参数（QP）。该比特分配方案能在最小化码率的同时，最大化任务的语义级保真度，例如分类准确率。我们还采用梯度类激活映射（Grad-CAM）和Mask R-CNN工具提取任务相关的重要性图，以辅助智能体决策。大量实验结果表明，我们的方法性能优越，在等效任务相关失真下，相比HEVC基准节省了43.1%至73.2%的码率。
引用
@article{arxiv.1910.07392,
title = {Reinforced Bit Allocation under Task-Driven Semantic Distortion Metrics},
author = {Jun Shi and Zhibo Chen},
journal= {arXiv preprint arXiv:1910.07392},
year = {2020}
}