Ortho-Shot: 面向少样本学习的低位移秩正则化与数据增强
计算机视觉与模式识别
2021-10-19 v1 机器学习
图像与视频处理
摘要
在少样本分类中,首要目标是从少量样本中学习能够对新颖类别具有良好泛化能力的表示。在本文中,我们提出了一种高效的低位移秩 (LDR) 正则化策略,称为 Ortho-Shot;这是一种基于双块 Toeplitz (DBT) 矩阵结构,对少样本分类器卷积层施加正交正则化的技术。少样本分类器中经过正则化的卷积层增强了模型泛化能力和类内特征嵌入,这对少样本学习至关重要。过拟合是少样本模型的典型问题,数据多样性的缺乏阻碍了模型的正确推断,从而削弱了少样本学习器对新颖类别的分类准确率。在这方面,我们分解了少样本分类器的处理流程,并确立了支持集、查询集和任务数据增强共同缓解了网络中的过拟合问题。凭借令人信服的结果,我们证明了将基于 DBT 的低秩正交正则化器与数据增强策略相结合,可显著提升少样本分类器的性能。我们在 miniImagenet、CIFAR-FS 和 Stanford 数据集上进行了实验,与 SOTA 相比性能提升了约 5%。
引用
@article{arxiv.2110.09374,
title = {Ortho-Shot: Low Displacement Rank Regularization with Data Augmentation for Few-Shot Learning},
author = {Uche Osahor and Nasser M. Nasrabadi},
journal= {arXiv preprint arXiv:2110.09374},
year = {2021}
}