来自对抗性显式任务分布生成的鲁棒快速适应
机器学习
2025-01-07 v4
摘要
元学习是一种在少量示例中跨任务迁移技能的实用学习范式。然而，任务分布偏移的存在往往削弱元学习者的泛化能力，尤其是当训练任务分布被简单地手工设定或基于简单先验条件时，无法充分覆盖关键情景。本文我们考虑基于任务标识符上显式生成模型来生成任务分布，并提出一种来自对抗性训练的鲁棒快速适应方法。我们的方法可解释为Stackelberg博弈模型，不仅通过显式生成模型揭示任务结构，还在最坏情况下理论上增加了适应鲁棒性。这一工作在处理元学习中的任务分布偏移方面具有实际意义，为该领域提供了理论见解。我们的方法在面对任务子人口统计学偏移时表现出鲁棒性，并在大量实验中超越SOTA基线。项目网站https://sites.google.com/view/ar-metalearn提供了代码。
引用
@article{arxiv.2407.19523,
title = {Robust Fast Adaptation from Adversarially Explicit Task Distribution Generation},
author = {Cheems Wang and Yiqin Lv and Yixiu Mao and Yun Qu and Yi Xu and Xiangyang Ji},
journal= {arXiv preprint arXiv:2407.19523},
year = {2025}
}
备注
Accepted by KDD 2025. The project is available at https://sites.google.com/view/ar-metalearn