解耦之外的基于集合的人脸识别:利用方差词表的突发度抑制
计算机视觉与模式识别
2023-04-14 v1
摘要
基于集合的人脸识别(SFR)旨在非受限场景下识别人脸集合,其中同一身份的外观可能因极端方差(如光照、姿态、表情)而剧烈变化。我们认为 SFR 中两个关键问题——人脸质量与突发度——均与身份无关而与方差相关。质量与突发度评估受到身份纠缠的干扰,而人脸识别受到方差纠缠的干扰。因此我们提出在一个轻量级基于集合的解耦框架中将身份特征与方差特征分离。在解耦之外,方差特征被充分利用以指示集合中的人脸质量与突发度,而非在训练后被丢弃。为抑制集合中的人脸突发度,我们提出一种基于词表的突发抑制(VBS)方法,其利用参考词表对人脸进行量化。通过对分配得分进行词间与词内归一化操作,人脸突发度程度得到恰当估计。大量可视化与实验证明了带 VBS 的解耦框架的有效性,其在 SFR 基准上取得了新的最先进性能。代码将发布于 https://github.com/Liubinggunzu/set_burstiness。
引用
@article{arxiv.2304.06249,
title = {Set-Based Face Recognition Beyond Disentanglement: Burstiness Suppression With Variance Vocabulary},
author = {Jiong Wang and Zhou Zhao and Fei Wu},
journal= {arXiv preprint arXiv:2304.06249},
year = {2023}
}
备注
ACM MM 2022 accepted, code will be released