面向元学习中泛化能力提升与内存效率优化的动态卷积核选择
机器学习
2022-06-06 v1 计算机视觉与模式识别
摘要
基于梯度的元学习方法容易在元训练集上过拟合，且这种行为在大型复杂网络中更为显著。此外，大型网络限制了元学习模型在低功耗边缘设备上的应用。虽然选择较小的网络在某种程度上避免了这些问题，但会影响整体泛化能力，导致性能下降。显然，对于每个元学习问题都存在一个近似最优的网络架构选择，然而事先确定它并不容易。在本文中，我们提出 MetaDOCK，一种任务特定的动态卷积核选择策略，用于设计在元学习中未见过任务上泛化良好的压缩 CNN 模型。我们的方法基于如下假设：对于给定的相似任务集合，网络的每个单独任务并不需要所有卷积核。相反，每个任务仅使用一部分卷积核，并且每个任务的卷积核选择可以作为内更新步骤的一部分动态学习。MetaDOCK 压缩了元模型以及任务特定的内模型，从而显著减小每个任务的模型规模，并且通过约束每个任务的活跃卷积核数量，隐式地缓解了元过拟合问题。我们表明，在相同的推理预算下，使用我们的方法获得的大型 CNN 模型的剪枝版本始终优于传统的 CNN 模型选择。MetaDOCK 与 iMAML 等流行的元学习方法良好结合。我们方法的有效性在 CIFAR-fs 和 mini-ImageNet 数据集上得到验证，并且我们观察到，在标准元学习基准上，我们的方法可将模型准确率提升高达 2%，同时将模型规模减小超过 75%。
引用
@article{arxiv.2206.01690,
title = {Dynamic Kernel Selection for Improved Generalization and Memory Efficiency in Meta-learning},
author = {Arnav Chavan and Rishabh Tiwari and Udbhav Bamba and Deepak K. Gupta},
journal= {arXiv preprint arXiv:2206.01690},
year = {2022}
}
备注
Published at CVPR 2022