面向元学习的原型导向集合表示学习
机器学习
2023-03-08 v2 机器学习
摘要
从集合结构数据中学习是一个近期备受关注的基础问题，其中引入了一系列摘要网络来处理集合输入。事实上，许多元学习问题可以被视为集合输入任务。现有的大多数摘要网络旨在为输入集合设计不同的架构以强制实现置换不变性。然而，对于元分布中不同集合密切相关并共享某些统计特性的常见情况，却鲜少受到关注。本文将每个集合视为全局原型集合上的分布，提出了一种新颖的原型导向最优传输 (POT) 框架来改进现有的摘要网络。为了学习全局原型上的分布，我们最小化其正则化最优传输距离到数据点上的集合经验分布，提供了一种自然的无监督方式来改进摘要网络。由于我们的即插即用框架可应用于许多元学习问题，我们进一步将其实例化于少样本分类和隐式元生成建模的场景。大量实验表明，我们的框架显著改进了现有摘要网络从集合中学习更强大摘要统计量的能力，并能成功集成到基于度量的少样本分类和生成建模应用中，为解决集合输入和元学习问题提供了一种有前景的工具。
引用
@article{arxiv.2110.09140,
title = {Learning Prototype-oriented Set Representations for Meta-Learning},
author = {Dandan Guo and Long Tian and Minghe Zhang and Mingyuan Zhou and Hongyuan Zha},
journal= {arXiv preprint arXiv:2110.09140},
year = {2023}
}