BioLip: 通过生物力学约束违规建模实现语言通用的唇同步深度伪造检测
计算机视觉与模式识别
2026-05-26 v3
摘要
现有的唇同步深度伪造检测器依赖像素瑕疵或音视频对应关系，两者在生成器或语言迁移下都会失败，因为它们学习的特征与训练分布紧密相关。我们采取不同方法。真实唇动受组织力学和神经肌肉带宽约束；当前生成器通常不施加这些约束，产生的轨迹在速度、加速度和 Jerk 方面的方差显著高于真实语音。我们利用这一信号（称为 temporal lip jitter），通过从 64 个周口 landmarks 在短滑动窗口内计算运动学统计信息并输入到一个轻量级三分支网络中。该模型仅使用 landmarks 坐标：不涉及像素、音频或声纹数据。我们仅用英语数据训练，在零样本设置下测试于五个未见生成器和七种语言。
引用
@article{arxiv.2604.16808,
title = {BioLip: Language-Generalizable Lip-Sync Deepfake Detection via Biomechanical Constraint Violation Modeling},
author = {Hao Chen and Junnan Xu},
journal= {arXiv preprint arXiv:2604.16808},
year = {2026}
}
备注
13 pages, 5 figures. Keywords: Deepfake detection, lip-sync forgery, biomechanical constraints, landmark kinematics, cross-lingual generalization, video forensics, privacy-preserving inference, compression robustness