简易语义辅助少样本学习
计算机视觉与模式识别
2024-04-10 v3
摘要
从有限量数据学习，即少样本学习，是一项极具挑战的计算机视觉任务。若干工作利用语义并设计复杂的语义融合机制，以补偿受限数据中稀少的代表性特征。然而，依赖类名等朴素语义因其简短性引入偏差，而从外部知识获取广泛语义耗费巨大时间与精力。这一限制严重制约了语义在少样本学习中的潜力。本文中，我们设计了一种称为语义进化的自动化方法以生成高质量语义。高质量语义的引入减轻了以往工作对复杂网络结构与学习算法的需求。因此，我们采用称为语义对齐网络的简单两层网络，将语义与视觉特征转换为具有丰富判别特征的鲁棒类原型，用于少样本分类。实验结果表明，我们的框架在六个基准上优于所有先前方法，证明了带有高质量语义的简单网络能在少样本分类任务上击败复杂的多模态模块。代码见 https://github.com/zhangdoudou123/SemFew。
引用
@article{arxiv.2311.18649,
title = {Simple Semantic-Aided Few-Shot Learning},
author = {Hai Zhang and Junzhe Xu and Shanlin Jiang and Zhenan He},
journal= {arXiv preprint arXiv:2311.18649},
year = {2024}
}
备注
Accepted by CVPR 2024