基于视觉与生理线索的联合人脸欺骗与伪造检测基准

人脸反欺骗（FAS）与人脸伪造检测在保护人脸生物识别系统免受呈现攻击（PAs）和恶意数字篡改（如deepfakes）方面发挥着至关重要的作用。尽管基于大规模数据和强大深度模型取得了有前景的性能，现有方法的泛化问题仍是一个开放课题。近期大多数方法聚焦于1）单模态视觉外观或生理（即远程光体积描记术（rPPG））线索；以及2）针对FAS或人脸伪造检测的分开特征表示。一方面，单模态外观和rPPG特征分别易受高保真人脸3D面具和视频重放攻击，这启发我们设计可靠的多模态融合机制用于泛化人脸攻击检测。另一方面，FAS与人脸伪造检测任务间存在丰富的共同特征（例如真样本的周期性rPPG节律和原始外观），为多任务学习形式的联合FAS与人脸伪造检测系统提供了坚实证据。本文中，我们建立了首个同时使用视觉外观与生理rPPG线索的联合人脸欺骗与伪造检测基准。为增强rPPG周期性判别，我们设计了一个双分支生理网络，以人脸时空rPPG信号图及其连续小波变换对应物作为输入。为缓解模态偏置并提升融合效能，我们在多模态融合前对外观与rPPG特征进行加权批和层归一化。我们发现，通过在这两个任务上联合训练，单模态（外观或rPPG）与多模态（外观+rPPG）模型的泛化能力均可明显提升。我们希望这一新基准能推动FAS与deepfake检测社区的未来研究。