基于光流注意力的时空聚合网络用于 3D 面具检测
计算机视觉与模式识别
2023-10-26 v1 密码学与安全
摘要
由于欺骗攻击带来的安全威胁，活体检测已成为人脸识别系统的必要环节。尽管在传统攻击中取得巨大成功，大多数基于深度学习的方法在 3D 面具上表现不佳——3D 面具可在外观与结构上高度模拟真实人脸，且现有方法仅关注单帧输入的空间域，泛化性不足。近期引入的称为 rPPG（远程光体积描记）的生物医学技术缓解了此问题。然而，基于 rPPG 的方法对噪声干扰敏感，且需要至少一秒（>25 帧）的观察时间，带来高计算开销。为应对这些挑战，我们提出一种名为 FASTEN（基于光流注意力的时空聚合网络）的新型 3D 面具检测框架。我们量身定制该网络以更关注大幅度运动中的细粒度细节，从而消除冗余时空特征干扰，并在更少帧内快速捕获 3D 面具的拼接痕迹。我们所提网络包含三个关键模块：1）人脸光流网络以获取非 RGB 帧间光流信息；2）光流注意力以赋予各帧不同重要性；3）时空聚合以聚合高层空间特征与时序转移特征。大量实验表明，FASTEN 仅需五帧输入，并在数据集内与跨数据集评估的多种检测指标上优于八种对比方法。此外，FASTEN 已部署于真实移动设备用于实际 3D 面具检测。
引用
@article{arxiv.2310.16569,
title = {Flow-Attention-based Spatio-Temporal Aggregation Network for 3D Mask Detection},
author = {Yuxin Cao and Yian Li and Yumeng Zhu and Derui Wang and Minhui Xue},
journal= {arXiv preprint arXiv:2310.16569},
year = {2023}
}
备注
13 pages, 5 figures. Accepted to NeurIPS 2023