BiLMa：用于基于文本的人员重识别的双向局部匹配
计算机视觉与模式识别
2023-09-12 v1
摘要
基于文本的人员重识别（TBPReID）旨在检索由给定文本查询所描述的人员图像。在该任务中，如何有效地在全局与局部上对齐图像与文本是一个关键挑战。近期工作通过求解掩码语言建模（MLM）以对齐图像/文本局部，取得了较高性能。然而，它们仅执行了单向（即由图像到文本）局部匹配，通过引入反向（即由文本到图像）局部匹配尚有提升空间。本工作中，我们引入了双向局部匹配（BiLMa）框架，在 TBPReID 模型训练中联合优化 MLM 与掩码图像建模（MIM）。借助该框架，我们的模型被训练为利用未掩码 token 预测随机掩码的图像与文本 token 的标签。此外，为缩小 MIM 中图像与文本间的语义鸿沟，我们提出了语义 MIM（SemMIM），其中被掩码图像 token 的标签由最先进的人体解析器自动给出。实验结果表明，我们的 BiLMa 框架结合 SemMIM 在三个基准上取得了最优的 Rank@1 与 mAP 分数。
引用
@article{arxiv.2309.04675,
title = {BiLMa: Bidirectional Local-Matching for Text-based Person Re-identification},
author = {Takuro Fujii and Shuhei Tarashima},
journal= {arXiv preprint arXiv:2309.04675},
year = {2023}
}
备注
Accepted at ICCVW 2023