渐进式特征挖掘与外部知识辅助的文本-行人图像检索
计算机视觉与模式识别
2023-08-24 v1
摘要
文本-行人图像检索旨在利用描述行人外观的文本来检索对应的行人图像。该任务不仅涉及模态差异，还面临同一身份行人文本多样性的挑战。目前，尽管现有研究在文本-行人图像检索方面已取得进展，但这些方法未综合考虑上述问题。鉴于此，本文提出一种渐进式特征挖掘与外部知识辅助的特征净化方法。具体而言，我们采用渐进式挖掘模式，使模型从被忽略的信息中挖掘判别性特征，从而避免判别性信息丢失并提升特征表达能力。此外，为进一步降低模态差异与文本多样性对跨模态匹配的负面影响，我们提出利用同模态的其他样本知识（即外部知识）来增强身份一致特征并削弱身份不一致特征。该过程净化了特征，并缓解了文本多样性及同模态负样本关联特征带来的干扰。在三个具有挑战性的数据集上的大量实验证明了所提方法的有效性与优越性，其检索性能在大规模数据集上甚至超越了基于大规模模型的方法。
引用
@article{arxiv.2308.11994,
title = {Progressive Feature Mining and External Knowledge-Assisted Text-Pedestrian Image Retrieval},
author = {Huafeng Li and Shedan Yang and Yafei Zhang and Dapeng Tao and Zhengtao Yu},
journal= {arXiv preprint arXiv:2308.11994},
year = {2023}
}