面向以数据为中心的人脸反欺骗:通过基于物理的数据合成改善跨域泛化
计算机视觉与模式识别
2024-09-06 v1
摘要
人脸反欺骗(FAS)研究面临跨域问题的挑战,即训练数据与测试数据之间存在域差距。近期的FAS工作主要以模型为中心,侧重于开发域泛化算法以提升跨域性能,而从数据质量和数量角度提升泛化能力的以数据为中心的人脸反欺骗研究则在很大程度上被忽视。因此,我们的工作从以数据为中心的FAS出发,从数据视角进行全面调查以提升FAS模型的跨域泛化能力。更具体地,首先,基于捕获与重捕获的物理过程,我们提出了任务特定的FAS数据增强(FAS-Aug),通过合成打印噪声、颜色失真、摩尔条纹等伪影数据来增加数据多样性。我们的实验表明,在训练FAS模型以获得更好的跨域性能方面,使用我们的FAS增强可以超越传统图像增强。然而,我们观察到模型可能依赖于非环境不变的增强伪影,使用FAS-Aug可能会产生负面影响。因此,我们提出了欺骗攻击风险均衡化(SARE),以防止模型依赖特定类型的伪影并提升泛化性能。最后但同样重要的是,我们提出的FAS-Aug和SARE结合近期的Vision Transformer主干网络,在FAS跨域泛化协议上达到了SOTA性能。实现代码可在 https://github.com/RizhaoCai/FAS_Aug 获取。
引用
@article{arxiv.2409.03501,
title = {Towards Data-Centric Face Anti-Spoofing: Improving Cross-domain Generalization via Physics-based Data Synthesis},
author = {Rizhao Cai and Cecelia Soh and Zitong Yu and Haoliang Li and Wenhan Yang and Alex Kot},
journal= {arXiv preprint arXiv:2409.03501},
year = {2024}
}
备注
Accepted by International Journal of Computer Vision (IJCV) in Sept 2024