FlashLips：基于重建而非扩散或GAN的100FPS无遮挡掩码式唇同步
计算机视觉与模式识别
2026-04-21 v3
摘要
我们提出FlashLips，一个两阶段、无遮挡掩码的唇同步系统，将唇部控制从渲染中解耦，实现实时性能，虽然其U-Net变体在单张GPU上运行速度超过100 FPS，却能匹配更大规模的最新模型的视觉质量。阶段1是一个紧凑的单步骤潜空间编辑器，通过参考身份、遮挡目标帧和低维唇姿向量重建图像，仅使用重建损失训练——无需GAN或扩散。为在推理时移除显式遮挡，我们利用通过口部altered目标变体获得的自监督伪ground truth训练网络，使其能够在保持其余部分的同时局部化唇部编辑。阶段2是一个基于流匹配目标训练的音频到姿态变换器，用于从语音预测唇姿向量。总体而言，这些阶段形成一个简单且稳定的管道，将确定性重建与稳健的音频控制相结合，实现高感知质量和超实时速度。
引用
@article{arxiv.2512.20033,
title = {FlashLips: 100-FPS Mask-Free Latent Lip-Sync using Reconstruction Instead of Diffusion or GANs},
author = {Andreas Zinonos and Michał Stypułkowski and Antoni Bigata and Stavros Petridis and Maja Pantic and Nikita Drobyshev},
journal= {arXiv preprint arXiv:2512.20033},
year = {2026}
}