AutoTransfer：具备知识迁移的 AutoML——在图神经网络中的应用
机器学习
2023-03-15 v1
摘要
AutoML 在为给定机器学习任务（由特定数据集与评估指标定义）寻找有效神经架构方面已展现出显著成功。然而，现有多数 AutoML 技术独立地从零考虑每个任务，需探索大量架构，导致高昂计算成本。本文提出 AutoTransfer，一种通过向感兴趣的新任务迁移既往架构设计知识来提升搜索效率的 AutoML 方案。我们的关键创新包括一个任务-模型库（捕捉多样 GNN 架构与任务上的模型表现）以及一种能准确度量不同任务间相似度的计算高效任务嵌入。基于任务-模型库与任务嵌入，我们通过聚合与感兴趣任务相似的任务上 Top-K 设计分布的相似度加权和，来估计新任务所需模型的先验设计。所计算的设计先验可与任意 AutoML 搜索算法配合使用。我们在图机器学习领域的六个数据集上评估 AutoTransfer。实验表明：(i) 我们提出的任务嵌入可高效计算，且具相似嵌入的任务拥有相似的最优性能架构；(ii) AutoTransfer 借助迁移的设计先验显著提升搜索效率，将探索的架构数量降低一个数量级。最后，我们发布 GNN-Bank-101，一个包含 120,000 种任务-模型组合详细 GNN 训练信息的大规模数据集，以推动并启发未来研究。
引用
@article{arxiv.2303.07669,
title = {AutoTransfer: AutoML with Knowledge Transfer -- An Application to Graph Neural Networks},
author = {Kaidi Cao and Jiaxuan You and Jiaju Liu and Jure Leskovec},
journal= {arXiv preprint arXiv:2303.07669},
year = {2023}
}
备注
ICLR 2023