基于图像集识别的度量学习对齐注意力控制
计算机视觉与模式识别
2019-08-07 v1 机器学习
图像与视频处理
摘要
本文研究基于图像集的人脸验证与识别问题。与传统的单样本（一幅图像或一段视频）设定不同，该情形假设可用一组无序的图像与视频的异构集合。这些样本可在不同检查点、不同身份证件等处采集。每幅图像的重要性通常被视为相等，或基于该图像独立于集合中其他图像和/或视频的质量评估而定。如何建模一个集合内无序图像间的关系仍具挑战性。我们通过将其表述为潜空间中的马尔可夫决策过程（MDP）来解决此问题。具体而言，我们首先提出一种依赖感知注意力控制（DAC）网络，其使用 actor-critic 强化学习对每幅图像进行注意力决策，以利用无序图像间的相关性。引入离策略经验回放以加速学习过程。此外，DAC 结合使用分治策略的时序模型处理视频。我们还提出一种姿态引导表示（PGR）方案，可进一步提升极端姿态下的性能。我们提出了一种无需训练的无参数 PGR，以及一种新颖的基于度量学习的 PGR，用于姿态对齐且测试阶段无需姿态检测。在 IJB-A/B/C、YTF、Celebrity-1000 数据集上的大量评估表明，我们的方法在基于集合及基于视频的人脸识别数据库上均优于许多 SOTA 方法。
引用
@article{arxiv.1908.01872,
title = {Attention Control with Metric Learning Alignment for Image Set-based Recognition},
author = {Xiaofeng Liu and Zhenhua Guo and Jane You and B. V. K Vijaya Kumar},
journal= {arXiv preprint arXiv:1908.01872},
year = {2019}
}
备注
Accepted to IEEE T-IFS (Extension of ECCV 2018 paper: Dependency-aware Attention Control for Unconstrained Face Recognition with Image Sets). arXiv admin note: substantial text overlap with arXiv:1907.03030; text overlap with arXiv:1707.00130 by other authors