视频缩放的自条件概率学习

双三次下采样是一种普遍使用的技术，用于减少视频存储负担或加速下游处理速度。然而，逆向上采样步骤并非易事，且下采样后的视频也可能降低下游任务的性能。在本文中，我们提出了一种用于视频缩放的自条件概率框架，以同时学习配对的下采样和上采样过程。在训练期间，我们通过最大化信息丢失的概率（该概率以下采样视频中强大的时空先验信息为条件），来降低下采样中丢失信息的熵。经过优化后，我们的框架下采样得到的视频保留了更有意义的信息，这对上采样步骤和下游任务（例如视频动作识别任务）都有益。我们进一步将该框架扩展到一个有损视频压缩系统，其中为非可微的工业有损编解码器提出了一种梯度估计器，用于整个系统的端到端训练。大量实验结果证明了我们的方法在视频缩放、视频压缩和高效动作识别任务上的优越性。