针对语音视频伪造的实时光学签名检测（扩展版）
计算机视觉与模式识别
2025-09-12 v2 人工智能
密码学与安全
摘要
高调演讲视频是伪造的主要目标，因其易于获取且具有高度影响力。本工作提出VeriLight，一个低开销且不突兀的系统，用于保护语音视频免受说话者身份、嘴部和面部运动的视觉篡改。不同于主要采用纯数字伪造检测方法，VeriLight在事件现场创建动态物理签名，并通过不可感知的调制光线嵌入所有视频录制。这些物理签名编码了语音事件独特的、在语义上有意义的特征，包括说话者身份和面部运动，并经过密码学保护以防止欺骗。签名可从下游任何视频中提取并与所呈现的语音内容进行验证，以检查其完整性。VeriLight的关键要素包括：（1）基于局部敏感哈希的极小体积（即150位）、姿态不变的语音视频特征框架；以及（2）能够在视频中嵌入>200 bps的光学调制方案，既不显眼于视频，也不显眼于现场。对大规模视频数据集的实验表明，VeriLight在检测伪造视频方面实现AUC≥0.99，真阳性率为100%。此外，VeriLight在不同录制条件、视频后处理技术以及针对其特征提取方法的白盒对抗攻击下表现出高鲁棒性。VeriLight演示可在https://mobilex.cs.columbia.edu/verilight 访问。
引用
@article{arxiv.2504.21846,
title = {Combating Falsification of Speech Videos with Live Optical Signatures (Extended Version)},
author = {Hadleigh Schwartz and Xiaofeng Yan and Charles J. Carver and Xia Zhou},
journal= {arXiv preprint arXiv:2504.21846},
year = {2025}
}
备注
In Proceedings of the 2025 ACM SIGSAC Conference on Computer and Communications Security (CCS '25). October 13 - 17, 2025, Taipei, Taiwan. ACM, New York, NY, USA. 19 pages