Mirage：将视频传输为感知幻觉实现 50000 倍加速

现有的通信框架主要致力于准确重建源信号以确保可靠传输。然而，这种以信号级保真度为导向的设计常导致高通信开销和系统复杂性，尤其是在视频通信场景中，主流框架依赖传输视觉数据本身，造成显著的带宽消耗。为此，我们提出一种无视觉数据自由的通信框架——Mirage——实现极高效的视频传输，同时保持语义信息。Mirage 将视频内容分解为两个互补组成部分：捕获运动动态的时序序列信息和描述整体视觉结构的空间外观表示。时序信息通过视频描述实现保存，关键帧编码为紧凑的语义表示以保留空间外观。这些表示被传输至接收方，通过生成式视频模型合成视频。由于不传输原始视觉数据，Mirage 本质上具有隐私保护特性。Mirage 还支持跨部署场景的个人化适应。发送方、网络与接收方可独立对语义表示、传输和生成施加约束，实现效率、隐私、控制与感知质量之间的灵活权衡。实验结果表明，Mirage 在视频传输中实现了约 50000 倍于原始视频传输的数据级压缩加速，随视频内容尺寸增大，加速效果预计进一步提升。