神经坍缩在少样本学习元学习模型中的作用

面向少样本学习的元学习框架旨在学习可用少量训练样本快速学习新技能或适应新环境的模型。这使得所开发模型仅需少量标注样本即可对新的类别具备泛化能力。然而，这些网络被视为黑盒模型，理解不同学习场景下所学表征至关重要。神经坍缩（$\mathcal{NC}$）是近期发现的现象，展示了网络趋于零损失时的独特性质：输入特征坍缩至各自类均值，类均值构成单纯形等角紧框架（ETF），其中类均值最大化分离且线性可分，分类器充当简单的近邻分类器。尽管这些现象已在简单分类网络中观察到，本研究首次探索并理解少样本学习元学习框架中的神经坍缩性质。我们在 Omniglot 数据集上于少样本设定下开展研究并考察神经坍缩现象。我们观察到所学特征确有神经坍缩趋势，尤其随模型规模增大而明显，但未必展现出由 $\mathcal{NC}$ 性质度量的完全坍缩。