从 API 中学习：黑盒无数据元学习
机器学习
2025-02-18 v3 人工智能
计算机视觉与模式识别
摘要
无数据元学习（Data-free Meta-Learning, DFML）旨在通过对一组预训练模型进行元学习而无需访问训练数据，从而实现对新任务的高效学习。现有 DFML 工作只能从（i）白盒且（ii）小规模预训练模型（iii）具有相同架构中进行元学习，忽略了更实际的场景：用户仅能推理访问具有任意内部模型架构与规模的 API。为解决此问题，我们提出双层级无数据元知识蒸馏（Bi-level Data-free Meta Knowledge Distillation, BiDf-MKD）框架，以将更通用的元知识从一组黑盒 API 迁移到单一元模型。具体而言，仅通过查询 API，我们利用零阶梯度估计器逆推每个 API 以恢复其训练数据，随后通过新颖的双层级元知识蒸馏结构执行元学习，其中我们设计了边界查询集恢复技术以在决策边界附近恢复信息更丰富的查询集。此外，为在有限 API 预算设定下鼓励更好的泛化，我们提出任务记忆回放，通过覆盖更多插值任务来丰富底层任务分布。在多种真实场景中的大量实验展示了我们 BiDf-MKD 框架的优越性能。
引用
@article{arxiv.2305.18413,
title = {Learning to Learn from APIs: Black-Box Data-Free Meta-Learning},
author = {Zixuan Hu and Li Shen and Zhenyi Wang and Baoyuan Wu and Chun Yuan and Dacheng Tao},
journal= {arXiv preprint arXiv:2305.18413},
year = {2025}
}