面向换衣行人重识别的多粒度视觉语义嵌入
计算机视觉与模式识别
2021-08-11 v1
摘要
行人重识别是机器学习和计算机视觉中非常热门的研究课题，已有许多行人重识别方法被提出；然而，这些方法大多假设同一人在短时间间隔内穿着相同衣物，因此其视觉外观必然相似。但在实际监控环境中，特定人在较长时间跨度后有很大概率会更换衣物，且常携带不同的个人物品。当现有的行人重识别方法应用于此类情况时，几乎全部失效。迄今为止，仅有少数工作关注换衣行人重识别任务，但由于难以提取泛化且鲁棒的特征来表示穿着不同衣物的人，其性能仍有待提高。此外，视觉语义信息常被忽略。为解决这些问题，本文提出了一种用于换衣行人重识别的新型多粒度视觉语义嵌入算法（MVSE），将视觉语义信息和人体属性嵌入网络，从而很好地学习人体外观的泛化特征，以有效解决衣物变化问题。具体而言，为充分表示换衣行人，采用多粒度特征表示方案（MGR）以关注人体不变部分，随后设计衣物脱敏网络（CDN）以提升该方法对不同衣物行人的特征鲁棒性，其中充分利用了不同的高级人体属性。此外，为进一步解决不同相机视角下的姿态变化和遮挡问题，提出部分语义对齐网络（PSA）以获取用于对齐人体属性的视觉语义信息。
引用
@article{arxiv.2108.04527,
title = {Multigranular Visual-Semantic Embedding for Cloth-Changing Person Re-identification},
author = {Zan Gao and Hongwei Wei and Weili Guan and Weizhi Nie and Meng Liu and Meng Wang},
journal= {arXiv preprint arXiv:2108.04527},
year = {2021}
}