用于基于属性的行人搜索的共生对抗学习
计算机视觉与模式识别
2020-08-25 v2
摘要
基于属性的行人搜索在无可用的检测到查询图像的应用中需求显著,例如根据目击者描述识别罪犯。然而,该任务本身极具挑战性,因为图像与属性的物理描述之间存在巨大的模态鸿沟。通常,也可能存在大量未见类别(属性组合)。当前最先进的方法要么仅通过挖掘已见数据来学习更好的跨模态嵌入,要么显式使用生成对抗网络(GAN)来合成未见特征。前者因数据不足往往产生较差的嵌入,而后者在生成过程中不能保持类内紧致性。在本文中,我们提出一种称为SAL的共生对抗学习框架。两个GAN以共生学习方案位于框架基础:一个合成未见类/类别的特征,另一个优化嵌入并在公共嵌入空间上执行跨模态对齐。具体而言,两类不同的生成对抗网络在整个训练过程中协作学习,二者之间的交互互利互惠。大量评估表明,SAL在两个具有挑战性的行人基准PETA和Market-1501上优于九种最先进方法。代码公开于:https://github.com/ycao5602/SAL。
引用
@article{arxiv.2007.09609,
title = {Symbiotic Adversarial Learning for Attribute-based Person Search},
author = {Yu-Tong Cao and Jingya Wang and Dacheng Tao},
journal= {arXiv preprint arXiv:2007.09609},
year = {2020}
}
备注
17 pages, 5 figures. Accepted to ECCV2020