面向零样本多标签分类的语义多样性学习
计算机视觉与模式识别
2021-05-14 v1
摘要
训练一个神经网络模型以识别与图像相关的多个标签（包括识别未见标签）具有挑战性，尤其是对于描绘大量语义多样标签的图像。尽管该任务困难，但因其代表了许多真实场景（如自然图像的图像检索）而至关重要。我们认为，如通常做法那样使用单一嵌入向量表示图像，不足以准确排序相关的已见和未见标签。本研究提出了一种支持图像与标签语义多样性的多标签零样本学习端到端模型训练方法。我们提议使用具有经定制损失函数训练的主嵌入向量的嵌入矩阵。此外，在训练期间，我们建议在损失函数中对呈现较高语义多样性的图像样本进行加权，以鼓励嵌入矩阵的多样性。大量实验表明，我们提出的方法提升了基于标签的图像检索中零样本模型的质量，在多个常用数据集（NUS-Wide、COCO、Open Images）上取得了SOTA结果。
引用
@article{arxiv.2105.05926,
title = {Semantic Diversity Learning for Zero-Shot Multi-label Classification},
author = {Avi Ben-Cohen and Nadav Zamir and Emanuel Ben Baruch and Itamar Friedman and Lihi Zelnik-Manor},
journal= {arXiv preprint arXiv:2105.05926},
year = {2021}
}