极低码率人脸视频的深度多模态软解码

我们提出了一种新颖的深度多模态神经网络，用于恢复极低码率的说话头部视频。此类视频内容在社交媒体、远程会议、远程教育、远程医疗等中非常常见，且常常需要在有限带宽下传输。所提出的CNN方法利用视频、音频和说话者情绪状态这三种模态间的相关性，去除由空间下采样和量化引起的视频压缩伪影。深度学习方法被证明非常适合于视频恢复任务，因为复杂的非线性跨模态相关性很难解析且显式地建模。新方法是一种视频后处理器，可显著提升被激进压缩的说话头部视频的感知质量，同时与所有现有视频压缩标准完全兼容。