CAIBC：面向基于文本的人员检索捕获超越颜色的全方位信息
计算机视觉与模式识别
2022-09-14 v1 信息检索
多媒体
摘要
给定自然语言描述，基于文本的人员检索旨在从大规模人员图像数据库中识别目标人物的图像。现有方法普遍面临\textbf{颜色过度依赖问题}，即模型在匹配跨模态数据时严重依赖颜色信息。事实上，颜色信息是检索的重要决策依据，但对颜色的过度依赖会使模型忽视其他关键线索（如纹理信息、结构信息等），从而导致次优的检索性能。为解决该问题，本文提出通过联合优化的多分支架构来\textbf{捕获超越颜色的全方位信息}（\textbf{CAIBC}），用于基于文本的人员检索。CAIBC包含三个分支：RGB分支、灰度（GRS）分支和颜色（CLR）分支。此外，为使全方位信息得到均衡且有效的利用，采用互学习机制，使关注不同信息方面的三个分支相互交流并学习。我们在CUHK-PEDES和RSTPReid数据集上，于\textbf{有监督}和\textbf{弱监督}基于文本的人员检索设定下对所提CAIBC方法进行了充分的实验分析，结果表明CAIBC显著优于现有方法，并在全部三项任务上取得了最先进的性能。
引用
@article{arxiv.2209.05773,
title = {CAIBC: Capturing All-round Information Beyond Color for Text-based Person Retrieval},
author = {Zijie Wang and Aichun Zhu and Jingyi Xue and Xili Wan and Chao Liu and Tian Wang and Yifeng Li},
journal= {arXiv preprint arXiv:2209.05773},
year = {2022}
}
备注
Accepted on ACM MM '22