ChatGPT引导的语义用于零样本学习
计算机视觉与模式识别
2023-10-19 v1
摘要
零样本学习（ZSL）旨在对训练期间未观测或未见的物体进行分类。它依赖类别语义描述将知识从已见类别迁移到未见类别。现有的获取类别语义的方法包括人工属性或来自语言模型（如word2vec）的自动词向量。我们知道属性标注成本高，而自动词向量相对含噪。为解决此问题，我们探索大型语言模型ChatGPT如何增强ZSL任务的类别语义。ChatGPT可作为获取每个类别包含相关属性与语义的文本描述的有用来源。我们使用word2vec模型通过ChatGPT的文本得到词向量。然后，我们通过结合来自类名和ChatGPT生成的描述的词嵌入来丰富词向量。更具体地，我们利用ChatGPT为类别描述提供额外监督，最终惠及ZSL模型。我们在多个2D图像（CUB和AwA）和3D点云（ModelNet10、ModelNet40和ScanObjectNN）数据集上评估我们的方法，并表明其提升了ZSL性能。我们的工作通过应用ChatGPT进行类别语义增强并提出一种新颖的词向量融合方法，对ZSL文献作出贡献。
引用
@article{arxiv.2310.11657,
title = {ChatGPT-guided Semantics for Zero-shot Learning},
author = {Fahimul Hoque Shubho and Townim Faisal Chowdhury and Ali Cheraghian and Morteza Saberi and Nabeel Mohammed and Shafin Rahman},
journal= {arXiv preprint arXiv:2310.11657},
year = {2023}
}
备注
Accepted in International Conference on Digital Image Computing: Techniques and Applications (DICTA), 2023