CHiLS：基于层次化标签集的零样本图像分类
计算机视觉与模式识别
2023-06-01 v3 机器学习
摘要
开放词汇模型（例如 CLIP）通过基于每个类别的（自然语言）名称生成嵌入的能力，在零样本分类中展现出强大性能。先前的工作侧重于通过提示工程或整合少量带标签下游数据（通过微调）来提高这些模型的准确性。然而，很少有人关注改进类别名称本身的丰富性，当类别标签定义粗糙且信息量不足时，这可能会带来问题。我们提出了基于层次化标签集的分类（CHiLS），这是一种专为具有隐式语义层次结构的数据集设计的零样本分类替代策略。CHiLS 分三步进行：(i) 对于每个类别，使用现有标签层次结构或通过查询 GPT-3 生成一组子类别；(ii) 将这些子类别视为感兴趣的标签，执行标准的零样本 CLIP 过程；(iii) 将预测的子类别映射回其父类别，以产生最终预测。在众多具有底层层次结构的数据集上，无论是否拥有真实的层次信息，CHiLS 都能提高准确性。CHiLS 易于在现有零样本流程中实现，且无需额外的训练成本。代码发布于：https://github.com/acmi-lab/CHILS。
引用
@article{arxiv.2302.02551,
title = {CHiLS: Zero-Shot Image Classification with Hierarchical Label Sets},
author = {Zachary Novack and Julian McAuley and Zachary C. Lipton and Saurabh Garg},
journal= {arXiv preprint arXiv:2302.02551},
year = {2023}
}
备注
Accepted at ICML 2023