基于对称性增强对比损失的弱监督人脸命名方法
计算机视觉与模式识别
2022-10-18 v1
摘要
我们重新审视弱监督跨模态人脸-姓名对齐任务;即给定一张图像和一段描述文本,我们用描述中出现的姓名来标注图像中的人脸。以往方法通过对一组图像及其对应描述文本进行不确定性推理来学习姓名与人脸之间的潜在对齐,而在本文中,我们依赖恰当的损失函数在神经网络设定下学习对齐,并提出 SECLA 和 SECLA-B。SECLA 是一种基于对称性增强对比学习对齐(Symmetry-Enhanced Contrastive Learning-based Alignment)的模型,能够以弱监督方式有效最大化对应人脸与姓名之间的相似度分数。该模型的一个变体 SECLA-B 像人类一样学习姓名与人脸的对齐,即从易到难的样本中学习,以进一步提升 SECLA 的性能。更具体地,SECLA-B 采用两阶段学习框架:(1) 在每对图像-描述中含少量姓名和人脸的简易子集上训练模型。(2) 利用简易案例中已知的姓名-人脸对,通过带额外损失的引导(bootstrapping)策略防止遗忘并同时学习新的对齐。我们在增强的 Labeled Faces in the Wild 数据集和 Celebrity Together 数据集上均取得了最先进的(state-of-the-art)结果。此外,我们相信我们的方法可适用于其他多模态新闻理解任务。
引用
@article{arxiv.2210.08957,
title = {Weakly Supervised Face Naming with Symmetry-Enhanced Contrastive Loss},
author = {Tingyu Qu and Tinne Tuytelaars and Marie-Francine Moens},
journal= {arXiv preprint arXiv:2210.08957},
year = {2022}
}
备注
Accepted at IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2023