SemSup：用于简单可扩展零样本泛化的语义监督
机器学习
2023-02-01 v4 计算与语言
计算机视觉与模式识别
摘要
零样本学习是在训练时未见过的类别上预测实例的问题。零样本学习的一种方法是向模型提供辅助类别信息。此前沿此思路的工作大多使用昂贵的逐实例标注或单一的类别级描述，但逐实例描述难以扩展，而单一类别描述可能不够丰富。此外，这些工作仅使用自然语言描述、简单的双编码器模型以及模态或任务特定的方法。这些方法存在若干局限：文本监督未必总可用或最优，且双编码器可能仅学到输入与类别描述间的粗粒度关系。本工作中，我们提出SemSup，一种使用（1）可扩展的多描述采样方法（相较单一描述提升性能）；（2）如JSON等易于生成且在特定设置下优于文本的可选描述格式；（3）混合词汇-语义相似度以利用类别描述中的细粒度信息的新型方法。我们在四个数据集、两种模态和三种泛化设置上展示了SemSup的有效性。例如，在文本与图像数据集上，相较最接近基线，SemSup将未见类别泛化准确率平均提升15个百分点。
引用
@article{arxiv.2202.13100,
title = {SemSup: Semantic Supervision for Simple and Scalable Zero-shot Generalization},
author = {Austin W. Hanjie and Ameet Deshpande and Karthik Narasimhan},
journal= {arXiv preprint arXiv:2202.13100},
year = {2023}
}