HybridPrompt：用于移动端流媒体的生成先验与传统编解码器的混合方法

在点播(VoD)场景中，传统编解码器因其高解码效率而为行业标准。然而，在低带宽条件下它们会出现严重的画质下降。虽然新兴的生成式神经编解码器在感知质量方面显著优于传统方法，但其依赖帧级heavy generation的特性，使得在移动设备上实现实时播放实际上不可行。我们提出HybridPrompt，是首个能够在商业智能手机上实现1080p实时解码且帧率超过150 FPS的生成式视频系统。具体而言，我们采用混合架构，对关键帧(Keyframe)使用生成式模型，对剩余帧依赖传统编解码器。一个主要挑战在于，这两种范式的目标相互冲突：生成式模型产生的"幻觉"细节常常与传统编解码器的刚性预测机制不匹配，导致比特率效率低下。为解决此问题，我们展示了传统解码过程是可微的，实现端到端优化循环。这使得我们能够将后续帧作为额外监督，迫使生成式模型综合关键帧，不仅在感知上具有高保真度，而且在传统编解码器中作为数学上最优的参考帧。通过集成两阶段生成策略，我们的方法在速度上远超纯神经基线，同时在200kbps下的平均LPIPS得分比传统编解码器提高了8%。