Fast-OMRA:面向神经 B 帧编码的快速在线运动分辨率自适应
计算机视觉与模式识别
2024-10-30 v1 图像与视频处理
摘要
大多数具有分层时间预测的学习型 B 帧编解码器都受到域偏移问题的影响,该问题源于训练和测试所用的图像组 (GOP) 大小不一致。因此,运动估计网络可能无法正确预测大运动。缓解此域偏移问题的一种有效策略是对视频帧进行下采样以进行运动估计。然而,寻找最佳下采样因子涉及耗时的率失真优化过程。本工作引入了轻量级分类器来确定下采样因子。为了在率失真与复杂度之间取得良好权衡,我们的分类器观察简单的状态信号,仅包括编码帧和参考帧,以预测最佳下采样因子。我们提出了两种分别采用二分类和多分类分类器的变体。二分类分类器采用 Focal Loss 进行训练,对高分辨率和低分辨率下的运动估计进行分类。我们的多分类分类器使用新颖的软标签进行训练,这些软标签融合了不同下采样因子的率失真代价知识。两种变体均作为附加模块运行,无需重新训练 B 帧编解码器。实验结果证实,它们实现了与暴力搜索方法相当的编码性能,同时大幅降低了计算复杂度。
引用
@article{arxiv.2410.21763,
title = {Fast-OMRA: Fast Online Motion Resolution Adaptation for Neural B-Frame Coding},
author = {Sang NguyenQuang and Zong-Lin Gao and Kuan-Wei Ho and Xiem HoangVan and Wen-Hsiao Peng},
journal= {arXiv preprint arXiv:2410.21763},
year = {2024}
}