Beat: 基于双向一对多嵌入对齐的文本人物检索
计算机视觉与模式识别
2024-06-11 v1
摘要
文本人物检索（TPR）是指根据文本描述检索特定个体的挑战性任务。在努力弥合视觉与语言之间差距的过程中，由于两种模态之间的显著差异，这一挑战仍然存在。以往方法尝试在共享的模态空间中对齐文本和图像样本，但由于两种模态可移动特征的不确定性以及未能考虑 TPR 数据集中图像-文本对的一对多关系，面临优化方向不确定的问题。为此，我们提出一种有效的双向一对多嵌入范式，为每个样本提供明确的优化方向，从而缓解优化问题。此外，这种嵌入方案在不引入可训练参数的情况下为每个样本生成多个特征，使其更容易与多个正样本对齐。基于此范式，我们提出一种新型的双向一对多嵌入对齐（Beat）模型，以解决 TPR 任务。我们的实验结果表明，所提出的 Beat 模型在三个流行的 TPR 数据集上实现了状态-of-the-art 性能，分别为 CUHK-PEDES（65.61% R@1）、ICFG-PEDES（58.25% R@1）和 RSTPReID（48.10% R@1）。此外，在 MS-COCO、CUB 和 Flowers 数据集上进行的额外实验进一步证明了 Beat 在其他图像-文本检索任务中的潜力。
引用
@article{arxiv.2406.05620,
title = {Beat: Bi-directional One-to-Many Embedding Alignment for Text-based Person Retrieval},
author = {Yiwei Ma and Xiaoshuai Sun and Jiayi Ji and Guannan Jiang and Weilin Zhuang and Rongrong Ji},
journal= {arXiv preprint arXiv:2406.05620},
year = {2024}
}
备注
ACM MM2023