面向多模态跨种族人脸防伪的静态与动态融合方法
计算机视觉与模式识别
2019-12-17 v2
摘要
无论是深度学习方法还是手工设计方法，视频中的动态信息以及跨种族的影响在人脸防伪中很少被考虑。在本工作中，我们提出了一种用于多模态人脸防伪的静态-动态融合机制。受真实人脸与伪造人脸之间运动差异的启发，我们将通过秩池化（rank pooling）计算的动态图像与静态信息结合，输入到每种模态（即RGB、深度和红外（IR））的常规神经网络（CNN）中。然后，我们开发了一种部分共享的融合方法，以从多模态中学习互补信息。此外，为了研究所提方法在跨种族攻击和未知 spoof 攻击方面的泛化能力，我们引入了最大的公开跨种族人脸防伪（CASIA-CeFA）数据集，涵盖3个种族、3种模态、1607个受试者，以及2D加3D攻击类型。实验表明，所提方法在CASIA-CeFA、CASIA-SURF、OULU-NPU和SiW上取得了最先进的（state-of-the-art）结果。
引用
@article{arxiv.1912.02340,
title = {Static and Dynamic Fusion for Multi-modal Cross-ethnicity Face Anti-spoofing},
author = {Ajian Liu and Zichang Tan and Xuan Li and Jun Wan and Sergio Escalera and Guodong Guo and Stan Z. Li},
journal= {arXiv preprint arXiv:1912.02340},
year = {2019}
}
备注
10 pages, 9 figures, conference