基于分层强化学习的面向分割任务的视频语义编码
图像与视频处理
2022-08-25 v1
摘要
分割、检测、分类等智能任务的快速发展，对语义压缩提出了迫切需求，其目标是在保持原始语义信息的同时降低压缩代价。然而，由于传统编解码器无法以端到端方式优化，直接将语义度量集成到其中是不现实的。为此，一些开创性工作已应用强化学习实现图像级语义压缩。尽管如此，由于视频语义编码复杂的参考架构与压缩模式，视频语义压缩尚未得到探索。本文向前推进一步，研究视频语义压缩，并提出基于分层强化学习的任务驱动视频语义编码，称为 HRLVSC。具体而言，为简化视频语义编码的复杂模式决策，我们以分层方式将动作空间划分为帧级与 CTU 级空间，随后借助帧级与 CTU 级智能体的协作，逐步为二者探索最佳模式选择。此外，由于视频语义编码的模式数随图像组（GOP）中帧数呈指数增长，我们仔细研究了不同模式选择对视频语义编码的影响，并设计了一种简单而有效的模式简化策略。我们在视频分割任务上基于 HEVC 参考软件 HM16.19 验证了 HRLVSC。大量实验结果表明，在低延迟 P（Low Delay P）配置下，我们的 HRLVSC 可为视频语义编码实现超过 39% 的 BD-rate 节省。
引用
@article{arxiv.2208.11529,
title = {Hierarchical Reinforcement Learning Based Video Semantic Coding for Segmentation},
author = {Guangqi Xie and Xin Li and Shiqi Lin and Li Zhang and Kai Zhang and Yue Li and Zhibo Chen},
journal= {arXiv preprint arXiv:2208.11529},
year = {2022}
}
备注
Accepted by VCIP2022