分布嵌入网络：从多样化分类任务集中实现泛化
机器学习
2023-01-03 v2 机器学习
摘要
我们提出用于小数据分类的分布嵌入网络（DEN）。与元学习思路一致，DEN从多样化训练任务中学习，目标是泛化到未见过目标任务。不同于现有方法要求训练与目标任务输入具有相同维度且分布可能相似，DEN允许训练与目标任务处于异质输入空间。这对于标注数据稀缺的表格数据任务尤为有用。DEN采用三块架构：协变量变换块、随后分布嵌入块、再分类块。我们提供理论洞见表明，该架构使得嵌入与分类块在多样化任务预训练后固定；仅含较少参数的协变量变换块需为每个新任务微调。为便于训练，我们还提出一种合成二分类任务的方法，并在数值实验中证明DEN在若干合成与真实任务上优于现有方法。
引用
@article{arxiv.2202.01940,
title = {Distribution Embedding Networks for Generalization from a Diverse Set of Classification Tasks},
author = {Lang Liu and Mahdi Milani Fard and Sen Zhao},
journal= {arXiv preprint arXiv:2202.01940},
year = {2023}
}
备注
This paper is accepted at TMLR https://openreview.net/forum?id=F2rG2CXsgO