从分层数据服务器进行视觉训练集搜索的二部模态匹配

我们探索这样一种情况：目标域可访问，但无法进行实时数据标注。相反，我们希望从大规模数据服务器中构建一个替代训练集，以获得一个有竞争力的模型。对于这个问题，由于目标域通常表现出不同的模态（即代表数据分布的语义簇），如果训练集不包含这些目标模态，模型性能将受到影响。虽然现有工作迭代地改进算法，但我们的研究探索了优化数据服务器结构这一常被忽视的潜力。受网络搜索引擎分层特性的启发，我们引入了一个分层数据服务器，以及一个二部模态匹配算法（BMM）来对齐源模态和目标模态。对于每个目标模态，我们在服务器数据树中寻找最佳模态匹配，其规模可能大也可能小。通过二部匹配，我们旨在以一对一的方式将所有目标模态与源模态进行最优匹配。与现有的训练集搜索算法相比，我们证明，在目标重识别（re-ID）和检测任务中，匹配到的服务器模态构成的训练集与目标域之间的域差距始终更小。因此，在我们搜索到的训练集上训练的模型比以其他方式训练的模型具有更高的准确率。BMM 允许以数据为中心的无监督域适应（UDA），与现有的以模型为中心的 UDA 方法正交。通过将 BMM 与现有的 UDA 方法（如伪标签）相结合，可以观察到进一步的改进。