基于循环关联的可泛化视频行人重识别
计算机视觉与模式识别
2022-11-09 v2
摘要
本文关注从未标注视频中学习可泛化的行人重识别(re-ID)表示。相较于1)训练与测试集通常同域的流行无监督re-ID设定，以及2)训练样本有标注的流行域泛化(DG)re-ID设定，我们的新场景结合了两者的关键挑战：训练样本无标注，且采集自多个与测试域不对齐的域。换言之，我们旨在以无监督方式学习表示，并直接将所学表示用于新域中的re-ID。为实现该目标，我们做出两点主要贡献：第一，提出循环关联(CycAs)，一种训练复杂度低的可扩展自监督re-ID学习方法；第二，构建名为LMP-video的大规模无标注re-ID数据集，专为所提方法定制。具体而言，CycAs通过强制时间上连续的视频帧对之间实例关联的循环一致性来学习re-ID特征，且训练代价仅与数据规模呈线性关系，使大规模训练成为可能。另一方面，LMP-video数据集极为庞大，包含从超过10K个YouTube视频中裁剪出的5000万张无标注行人图像，因此足以作为自监督学习的肥沃土壤。在LMP-video上训练后，我们表明CycAs对新域学到了良好的泛化能力。所得结果有时甚至优于有监督域可泛化模型。值得注意的是，CycAs在零人工标注下于Market-1501达到82.2% Rank-1、于MSMT17达到49.0% Rank-1，超越了最先进的有监督DG re-ID方法。此外，我们还展示了CycAs在规范无监督re-ID及预训练-微调场景下的优越性。
引用
@article{arxiv.2211.03663,
title = {Generalizable Re-Identification from Videos with Cycle Association},
author = {Zhongdao Wang and Zhaopeng Dou and Jingwei Zhang and Liang Zheng and Yifan Sun and Yali Li and Shengjin Wang},
journal= {arXiv preprint arXiv:2211.03663},
year = {2022}
}