TransHP：基于分层提示的图像分类
计算机视觉与模式识别
2023-12-21 v5
摘要
本文探索一种用于分层图像分类（HIC）任务的分层提示机制。与先前 HIC 方法不同，我们的分层提示首次显式地将祖先类信息作为令牌化提示注入，以裨益后代类的判别。我们认为其很好地模仿了人类视觉识别，即人类可能使用祖先类作为提示，以聚焦于后代类间细微差异。我们将此提示机制建模入带分层提示的 Transformer（TransHP）中。TransHP 包含三步：1）学习一组提示令牌以表示粗（祖先）类，2）在中间块处即时预测输入图像的粗类，3）将所预测粗类的提示令牌注入中间特征。尽管 TransHP 的参数对所有输入图像保持一致，所注入的粗类提示条件化（修改）了后续特征提取，并鼓励动态聚焦于后代类间相对细微的差异。大量实验表明，TransHP 在准确率（如将 ViT-B/16 的 ImageNet 分类准确率提升 +2.83%）、训练数据效率（如在 10% ImageNet 训练数据下提升 +12.69%）及模型可解释性上均改进了图像分类。此外，TransHP 也优于先前 HIC 方法，表明其很好地利用了分层信息。代码见：https://github.com/WangWenhao0716/TransHP。
引用
@article{arxiv.2304.06385,
title = {TransHP: Image Classification with Hierarchical Prompting},
author = {Wenhao Wang and Yifan Sun and Wei Li and Yi Yang},
journal= {arXiv preprint arXiv:2304.06385},
year = {2023}
}
备注
Accepted to NeurIPS 2023; Released code