MetaNODE：将原型优化作为神经 ODE 的少样本学习方法
计算机视觉与模式识别
2021-12-07 v2
摘要
少样本学习（FSL）是一项具有挑战性的任务，即如何用少量样本识别新类别？基于预训练的方法通过预训练特征提取器，再以基于均值的原型通过余弦最近邻分类器预测新类别，有效解决了该问题。然而，由于数据稀缺，基于均值的原型通常存在偏差。本文将原型偏差视为原型优化问题，试图削弱该偏差。为此，我们提出一种新颖的基于元学习的原型优化框架来修正原型，即引入元优化器优化原型。尽管现有元优化器也可适配我们的框架，但它们都忽视了一个关键的梯度偏差问题，即基于均值的梯度估计在稀疏数据上同样有偏。为解决该问题，我们将梯度及其流视为元知识，进而提出一种新颖的基于神经常微分方程（ODE）的元优化器来打磨原型，称为 MetaNODE。在该元优化器中，我们首先将基于均值的原型视为初始原型，然后将原型优化过程建模为由神经 ODE 指定的连续时间动力学。我们精心设计了梯度流推断网络，以学习估计原型动力学的连续梯度流。最后，通过求解神经 ODE 可获得最优原型。在 miniImagenet、tieredImagenet 和 CUB-200-2011 上的大量实验表明了我们的方法的有效性。
引用
@article{arxiv.2103.14341,
title = {MetaNODE: Prototype Optimization as a Neural ODE for Few-Shot Learning},
author = {Baoquan Zhang and Xutao Li and Shanshan Feng and Yunming Ye and Rui Ye},
journal= {arXiv preprint arXiv:2103.14341},
year = {2021}
}
备注
Accepted by AAAI 2022