将模态无关人体识别视为零样本学习
计算机视觉与模式识别
2022-01-03 v2
摘要
人体识别是事件检测、行人跟踪和公共安全中的重要课题。已有大量人体识别方法被提出，如人脸识别、行人重识别和步态识别。通常，现有方法主要将查询图像分类到图像库集（I2I）中的特定身份。这在仅能提供查询的文本描述或属性库集的广泛视频监控应用（A2I或I2A）场景中受到严重限制。然而，极少有研究致力于模态无关识别，即以可扩展方式在库集中识别查询。本文进行了初步尝试，将这一新颖的模态无关人体识别（称为MFHI）任务构建为可扩展的通用零样本学习模型。同时，它通过学习每个身份的判别性原型来桥接视觉与语义模态。此外，在视觉模态上施加语义引导的空间注意力，以获得兼具高全局类别级与局部属性级判别性的表示。最后，我们在人脸识别和行人重识别两个常见且具有挑战性的识别任务上设计并进行了大量实验，表明我们的方法在模态无关人体识别上优于多种现有最优方法。
引用
@article{arxiv.2010.00975,
title = {Taking Modality-free Human Identification as Zero-shot Learning},
author = {Zhizhe Liu and Xingxing Zhang and Zhenfeng Zhu and Shuai Zheng and Yao Zhao and Jian Cheng},
journal= {arXiv preprint arXiv:2010.00975},
year = {2022}
}
备注
This manuscript has been accepted by IEEE Transactions on Circuits and Systems for Video Technology