任务分布鲁棒的无数据元学习
机器学习
2026-04-13 v2 人工智能
摘要
无数据元学习（DFML）旨在从多个预训练模型中元学习而无需访问其原始训练数据，从而实现对未见少样本任务的高效学习。尽管现有 DFML 方法通常从这些模型生成合成数据以执行元学习，但对 DFML 鲁棒性的全面分析——尤其是其失效模式及对潜在攻击的脆弱性——仍明显缺失。此类分析至关重要，因为算法常在复杂且不确定的真实环境中运行。本文通过系统研究 DFML 的鲁棒性填补了这一重要空白，识别出两个关键但此前被忽视的漏洞：任务分布偏移（TDS）与任务分布破坏（TDC）。TDS 指演化中任务分布的连续偏移，导致对已学元知识的灾难性遗忘。TDC 暴露了 DFML 的安全缺陷，揭示其在预训练模型池包含声称有益实则有害的不可信模型时易受攻击。为缓解这些漏洞，我们提出一个可信 DFML 框架，包含三个组件：合成任务重构、带任务记忆插值的元学习，以及自动模型选择。具体而言，利用模型反演技术，我们从多个预训练模型重构合成任务以执行元学习。为防止遗忘，我们引入一种重放插值历史任务的策略，以高效回忆先前的元知识。此外，我们的框架无缝集成了自动模型选择机制，以在元学习过程中自动过滤不可信模型。代码见 https://github.com/Egg-Hu/Trustworthy-DFML。
引用
@article{arxiv.2311.14756,
title = {Task-Distributionally Robust Data-Free Meta-Learning},
author = {Zixuan Hu and Yongxian Wei and Li Shen and Zhenyi Wang and Baoyuan Wu and Chun Yuan and Dacheng Tao},
journal= {arXiv preprint arXiv:2311.14756},
year = {2026}
}