基于焦点多样性剪枝的鲁棒少样本集成学习
计算机视觉与模式识别
2024-04-09 v1 机器学习
摘要
本文提出了FusionShot,一种焦点多样性优化的少样本集成学习方法,用于提升预训练少样本模型的鲁棒性和泛化性能。本文做出了三项原创贡献。首先,我们探索了少样本学习的独特特征,通过创建三种替代融合通道来集成多个少样本(FS)模型。其次,我们引入了焦点误差多样性的概念,以学习最有效的集成组队策略,而不是假设由更多基础模型组成的集成会优于较小规模的子集成。我们开发了一种焦点多样性集成剪枝方法,以有效剪除集成误差多样性较低的候选集成,并推荐具有最高焦点误差多样性的top- FS集成。最后,我们通过设计learn-to-combine算法捕捉集成少样本预测的复杂非线性模式,该算法能够学习不同成员模型之间用于鲁棒集成融合的多样化权重分配。在代表性少样本基准上的大量实验表明,FusionShot推荐的top-K集成在新任务(不同分布且训练时未知)上优于代表性的SOTA少样本模型,并在跨域设置和对抗设置中均胜过现有的少样本学习器。为了可复现性,FusionShot训练的模型、结果和代码可在 https://github.com/sftekin/fusionshot 获取。
引用
@article{arxiv.2404.04434,
title = {Robust Few-Shot Ensemble Learning with Focal Diversity-Based Pruning},
author = {Selim Furkan Tekin and Fatih Ilhan and Tiansheng Huang and Sihao Hu and Ka-Ho Chow and Margaret L. Loper and Ling Liu},
journal= {arXiv preprint arXiv:2404.04434},
year = {2024}
}