单次基于唇部的生物特征认证：以认证短语信息扩展行为特征

基于唇部的生物特征认证（LBBA）是一种基于人说话时唇部运动的认证方法，以相机传感器捕获的视频数据形式呈现。LBBA 可利用唇部运动的物理与行为特征，且除 RGB 相机外无需任何额外传感设备。当前最优（SOTA）方法使用单次学习训练深度孪生神经网络，从这些特征中产生嵌入向量。嵌入进一步用于计算已注册用户与待认证用户间的相似度。这些方法的一个缺陷是将行为特征建模为与所说内容无关的说话风格，这使系统易受客户端说任意短语的视频重放攻击。为解决该问题，我们提出一种单次方法，将行为特征建模为除说话风格外还能区分所说内容。我们通过定制 GRID 数据集获取所需三元组，并基于 3D 卷积与循环神经网络层训练孪生神经网络来实现。提出了一种用于批量困难负样本挖掘的自定义三元组损失。在开放集协议下所得结果在定制 GRID 数据集测试集上为 3.2% FAR 与 3.8% FRR。对结果的额外分析量化了行为与物理特征对 LBBA 的影响及判别力。