用于少样本分类的对比知识增强元学习
机器学习
2022-07-26 v1
摘要
模型无关元学习算法旨在从若干已观测任务中推断先验，随后可用于以少量样本适应新任务。鉴于现有基准中出现的任务固有多样性，近期方法使用分离的、可学习的结構（如层次结构或图）来实现先验的任务特定适应。尽管这些方法产生了显著更好的元学习器，我们的目标是在异构任务分布包含具有挑战性的分布偏移和语义差异时改善其性能。为此，我们引入 CAML（Contrastive Knowledge-Augmented Meta Learning，对比知识增强元学习），一种用于知识增强少样本学习的新型方法，其演化知识图以有效编码历史经验，并采用对比蒸馏策略利用编码知识对基学习器进行任务感知调制。使用标准基准，我们在不同少样本学习场景中评估 CAML 的性能。除标准少样本任务适应外，我们在实证研究中还考虑了更具挑战性的多领域任务适应与少样本数据集泛化设置。我们的结果表明 CAML 持续优于已知最佳方法并实现了改进的泛化。
引用
@article{arxiv.2207.12346,
title = {Contrastive Knowledge-Augmented Meta-Learning for Few-Shot Classification},
author = {Rakshith Subramanyam and Mark Heimann and Jayram Thathachar and Rushil Anirudh and Jayaraman J. Thiagarajan},
journal= {arXiv preprint arXiv:2207.12346},
year = {2022}
}