ProtoDiff：通过任务引导扩散学习原型网络
机器学习
2023-11-08 v2 人工智能
摘要
基于原型的元学习已成为应对少样本学习挑战的一种强大技术。然而，从有限数量的样本中用简单平均函数估计确定性原型仍是一个脆弱的过程。为克服这一局限，我们提出ProtoDiff，一种在元训练阶段利用任务引导扩散模型逐步生成原型的新框架，从而提供高效的类表示。具体而言，优化一组原型以实现逐任务原型过拟合，从而精确获得各任务的过拟合原型。此外，我们在原型空间中引入任务引导扩散过程，使得从原始原型到过拟合原型的生成过程得以元学习。在元测试阶段，ProtoDiff以新任务可用有限样本为条件，从随机噪声逐步生成任务特定原型。进一步地，为加速训练并提升ProtoDiff性能，我们提出利用残差原型稀疏性的残差原型学习。我们进行了充分的消融实验以证明其准确捕捉底层原型分布并增强泛化的能力。在域内、跨域及少任务少样本分类上取得的新SOTA性能进一步证实了ProtoDiff的优势。
引用
@article{arxiv.2306.14770,
title = {ProtoDiff: Learning to Learn Prototypical Networks by Task-Guided Diffusion},
author = {Yingjun Du and Zehao Xiao and Shengcai Liao and Cees Snoek},
journal= {arXiv preprint arXiv:2306.14770},
year = {2023}
}
备注
Accepted by NeurIPS 2023