面向无监督亲属关系估计的深度协作多模态学习
计算机视觉与模式识别
2021-09-08 v1
摘要
亲属关系验证是计算机视觉中一个长期存在的研究挑战。呈现于人脸上的视觉差异对亲属关系系统的识别能力有显著影响。我们认为聚合多种视觉知识能更好地描述对象特征以实现精确的亲属识别。通常，年龄不变特征能代表更自然的面部细节。由于衰老的生物学效应，此类与年龄相关的变换对人脸识别至关重要。然而，现有方法主要关注采用单视角图像特征进行亲属识别，而在特征学习步骤中直接忽略了种族和年龄等更有意义的视觉属性。为此，我们提出一种新颖的深度协作多模态学习（DCML），以自适应方式整合面部属性中呈现的底层信息，从而增强面部细节以实现有效的无监督亲属验证。具体而言，我们构建了一个精心设计的自适应特征融合机制，它能联合利用来自不同视觉视角的互补属性生成复合特征，并将更大注意力吸引到空间特征图中最具信息量的成分。特别地，基于一种新颖的注意力机制开发了自适应加权策略，它能通过自适应的方式减少通道中的信息冗余来增强不同属性间的依赖关系。为验证所提方法的有效性，在四个广泛使用的数据集上进行的大量实验评估表明，我们的 DCML 方法始终优于一些最先进的亲属验证方法。
引用
@article{arxiv.2109.02804,
title = {Deep Collaborative Multi-Modal Learning for Unsupervised Kinship Estimation},
author = {Guan-Nan Dong and Chi-Man Pun and Zheng Zhang},
journal= {arXiv preprint arXiv:2109.02804},
year = {2021}
}