大模型驱动的少样本持续学习
计算机视觉与模式识别
2023-09-06 v1
摘要
少样本持续学习（FSCL）近年来受到广泛关注并取得一定进展，但由于仅有的少样本增量数据的限制，现在难以在准确率上再次取得大幅飞跃。受人类在生活学习中独特认知能力的启发，本文提出一种新颖的大模型驱动的少样本持续学习（B-FSCL）框架，在世界大模型（如人类累积知识）的牵引下逐步演化模型。具体而言，我们执行大模型驱动的迁移学习，以利用这些现有大模型的强大编码能力，使持续模型适应少量新添加样本的同时避免过拟合问题。考虑到大模型与持续模型对相同图像可能有不同的感知结果，我们引入实例级自适应决策机制，提供适应不同样本的高层灵活认知支持。反过来，该自适应决策可进一步用于优化持续模型的参数，实现大模型知识信息的自适应蒸馏。我们所提出的 B-FSCL 在三个流行数据集（包括 CIFAR100、minilmageNet 和 CUB200）上的实验结果完全超越了所有最先进的 FSCL 方法。
引用
@article{arxiv.2309.00862,
title = {Big-model Driven Few-shot Continual Learning},
author = {Ziqi Gu and Chunyan Xu and Zihan Lu and Xin Liu and Anbo Dai and Zhen Cui},
journal= {arXiv preprint arXiv:2309.00862},
year = {2023}
}
备注
9 pages 6 figures