基于神经常微分方程的原型优化用于小样本学习
计算机视觉与模式识别
2024-11-20 v1
摘要
小样本学习(FSL)是一项具有挑战性的任务，旨在通过少量样本识别新类别。基于预训练的方法通过预训练特征提取器，然后通过基于均值的原型和余弦分类器进行类别预测，有效地解决了该问题。然而，由于数据稀缺，基于均值的原型通常存在偏差。在本文中，我们尝试通过将原型偏差视为原型优化问题来减小它。为此，我们提出了一种新颖的原型优化框架来修正原型，即引入元优化器来优化原型。尽管现有的元优化器也可以适应我们的框架，但它们都忽略了一个关键的梯度偏差问题，即基于均值的梯度估计在稀疏数据上也是有偏差的。为了解决这个问题，在本文中，我们将梯度及其流视为元知识，然后提出了一种新颖的基于神经常微分方程(ODE)的元优化器来优化原型，称为MetaNODE。尽管MetaNODE表现出优越的性能，但它存在巨大的计算负担。为了进一步提高其计算效率，我们对MetaNODE进行了详细分析，然后设计了一个有效且高效的MetaNODE扩展版本（称为E2MetaNODE）。它由两个新颖模块组成：E2GradNet和E2Solver，分别旨在准确估计梯度流并以有效且高效的方式求解最优原型。大量实验表明：1) 我们的方法在性能上优于先前的小样本学习方法；2) 我们的E2MetaNODE显著提高了计算效率，同时性能没有下降。
引用
@article{arxiv.2411.12259,
title = {Prototype Optimization with Neural ODE for Few-Shot Learning},
author = {Baoquan Zhang and Shanshan Feng and Bingqi Shan and Xutao Li and Yunming Ye and Yew-Soon Ong},
journal= {arXiv preprint arXiv:2411.12259},
year = {2024}
}
备注
An extended version of metanode: prototype optimization as a neural ode for few-shot learning. arXiv admin note: text overlap with arXiv:2103.14341