基于竞争学习的内容特定视频编码滤波器

本文探讨了在联合优化内容特定后处理滤波器的同时，将以人类为导向的视频/图像编解码器适配为机器视觉任务所需编解码器的有效性。通过观察视频/图像编解码器产生的失真具有内容依赖性，我们提出了一种基于竞争学习原则的新型训练策略。该策略以模糊方式动态地将训练样本分配给滤波器，从而进一步优化给定样本上的获胜滤波器。灵感来源于模拟退火优化技术，我们采用带有温度变量的softmax函数作为权重分配函数，以缓和随机初始化的影响。我们的评估在采用多滤波器的VVC（Versatile Video Coding）编解码器框架中进行，结果表明，使用我们提出的策略训练的内容特定滤波器优于独立训练的滤波器，尤其是在图像以块为单位处理时效果更佳。以VVC参考软件VTM 12.0为锚点，在OpenImages数据集上进行的实验显示，针对目标检测和实例分割任务，BD-rate降低率分别从-41.3%和-44.6%提升至-42.3%和-44.7%。滤波器使用统计与我们的假设一致，凸显了同时针对内容和重构质量联合优化滤波器的重要性。我们的发现为进一步提高视频/图像编解码器性能指明了道路。