通过视觉与文本知识渗透实现类人的小样本学习
计算机视觉与模式识别
2024-05-24 v2 人工智能
摘要
小样本学习旨在将识别器从已见类别泛化到全新的场景。在仅有少量支持样本的情况下,几种先进方法最初引入类名作为先验知识以识别新类。然而,如何利用视觉与文本知识的互惠优势仍存在阻碍,难以实现全面理解。在本文中,我们提出了一种连贯的双向知识渗透策略,称为BiKop,其基于人类直觉:类名描述提供一般表示,而图像捕捉个体的特异性。BiKop主要通过双向知识渗透建立层次化的联合一般-特异性表示。另一方面,考虑到联合表示偏向基集,我们在训练期间解耦与基类相关的语义,从而减轻对潜在新类相关信息的抑制。在四个具有挑战性的基准上的实验证明了BiKop的显著优越性。我们的代码将公开发布。
引用
@article{arxiv.2405.12543,
title = {Like Humans to Few-Shot Learning through Knowledge Permeation of Vision and Text},
author = {Yuyu Jia and Qing Zhou and Wei Huang and Junyu Gao and Qi Wang},
journal= {arXiv preprint arXiv:2405.12543},
year = {2024}
}