ASMR：基于自适应语义间隔正则器的属性人物搜索学习

基于属性的人物搜索是指根据作为查询条件的一组文本属性，寻找与之最佳匹配的人物图像的任务。该任务的主要挑战在于属性与图像之间存在巨大的模态鸿沟。为了缩小这一鸿沟，我们在基于属性的人物搜索背景下，提出了一种用于学习跨模态嵌入的新损失函数。我们将一组属性视为共享相同特征的一类人物。在两种模态的联合嵌入空间中，我们的损失函数将图像拉近其所属人物类别以实现模态对齐。更重要的是，它通过一个由人物类别间语义距离自适应决定的间隔将成对的人物类别推开，其中距离度量是端到端学习的，使得该损失函数在关联人物类别时能够考虑每个属性的重要性。在我们的损失函数引导下，自适应语义间隔使得人物图像的分布更具判别性且在语义上排列良好。因此，它使得一个简单的嵌入模型无需任何额外技巧即可在公开基准上达到 SOTA 记录。