面向深度视频压缩的离线与在线光流增强

视频压缩严重依赖于利用视频帧间的时间冗余，这通常通过估计并使用运动信息来实现。在大多数现有的深度视频压缩网络中，运动信息由光流表示。实际上，这些网络常采用预训练的光流估计网络进行运动估计。然而，由于以下两个因素，光流可能不太适合视频压缩。首先，光流估计网络被训练为尽可能准确地执行帧间预测，但光流本身可能需要过多比特进行编码。其次，光流估计网络在合成数据上训练，可能对真实世界视频的泛化能力不足。我们通过两个阶段增强光流来解决这两重局限：离线与在线。在离线阶段，我们使用传统（非深度）视频压缩方案（如 H.266/VVC）提供的运动信息微调训练好的光流估计网络，因为我们认为 H.266/VVC 的运动信息实现了更好的率失真权衡。在在线阶段，我们使用基于梯度下降的算法针对待压缩视频进一步优化光流的潜特征，以增强光流的适应性。我们在最先进的深度视频压缩方案 DCVC 上进行了实验。实验结果表明，所提出的离线与在线增强结合在测试视频上平均实现了 12.8% 的比特率节省，且不增加解码器端的模型或计算复杂度。