ProTeCt：面向分类学开放集分类的提示微调
计算机视觉与模式识别
2024-03-29 v2
摘要
视觉-语言基础模型（如 CLIP）学习到的通用表征能够实现零样本开放集分类。基于提示微调（prompt tuning）的小样本自适应方法已被证明可进一步提升在下游数据集上的性能。然而，这些方法在分类学开放集（TOS）设定下表现不佳，该设定要求分类器从不同语义粒度层级的标签集中进行预测。它们经常在较粗的分类学类别层级上推断出错误标签，即便在叶节点层级（原始类别标签）的推断是正确的。为解决此问题，我们提出了一种校准模型预测层级一致性的提示微调技术。首先提出了一组层级一致性度量指标——层级一致准确率（HCA）和平均树切准确率（MTA），用于评估 TOS 模型性能。随后提出了一种新的面向层级一致性的提示微调（ProTeCt）技术，以校准跨标签集粒度的分类。结果表明，ProTeCt 可与现有提示微调方法结合，在显著提升 TOS 分类性能的同时不损害叶节点层级的分类表现。
引用
@article{arxiv.2306.02240,
title = {ProTeCt: Prompt Tuning for Taxonomic Open Set Classification},
author = {Tz-Ying Wu and Chih-Hui Ho and Nuno Vasconcelos},
journal= {arXiv preprint arXiv:2306.02240},
year = {2024}
}
备注
Accepted to CVPR 2024