基于全局标签推断与分类的鲁棒元表示学习
机器学习
2023-11-07 v2 机器学习
摘要
少样本学习（FSL）是元学习的核心问题，学习者必须能从少量标注样本中高效学习。在FSL中，特征预训练近期已成为一种日益流行的策略，可显著提升泛化性能。然而，预训练的贡献常被忽视且研究不足，对其在元学习性能上影响的理论理解有限。此外，预训练需要跨训练任务共享的一致全局标签集，而实践中可能不可用。本工作中，我们首先揭示预训练与元学习之间的联系，从而解决上述问题。我们讨论了预训练为何能产生更鲁棒的元表示，并将理论分析与现有工作和实证结果相联系。其次，我们提出Meta Label Learning（MeLa），一种通过跨任务推断全局标签来学习任务关系的新颖元学习算法。这使我们即便在全局标签不可用或定义不清时，也能利用预训练进行FSL。最后，我们引入一种增强的预训练流程，进一步改进所学元表示。在实证上，MeLa在多种基准测试中优于现有方法，尤其在训练任务数量有限且标签为任务专属的更具挑战性设定下。我们还提供了广泛的消融实验以凸显其关键特性。
引用
@article{arxiv.2212.11702,
title = {Robust Meta-Representation Learning via Global Label Inference and Classification},
author = {Ruohan Wang and Isak Falk and Massimiliano Pontil and Carlo Ciliberto},
journal= {arXiv preprint arXiv:2212.11702},
year = {2023}
}
备注
23 pages, 4 figures