Arch-Graph：面向任务可迁移神经架构搜索的无环架构关系预测器
计算机视觉与模式识别
2022-04-13 v1 机器学习
摘要
神经架构搜索（NAS）旨在为多个任务寻找高效模型。除寻求单一任务的解决方案外，跨多个任务迁移网络设计知识的兴趣正迅速增长。在这类研究中，有效建模任务相关性至关重要却高度被忽视。因此，我们提出 \textbf{Arch-Graph}，一种可迁移的 NAS 方法，它针对给定任务嵌入预测任务特定的最优架构。它通过将任务嵌入作为预测器输入的一部分来实现快速适配，从而利用多个任务间的相关性。我们还将 NAS 表述为架构关系图预测问题，该关系图以候选架构为节点、以它们之间的两两关系为边构建。为强制关系图中无环等基本性质，我们向优化过程添加额外约束，将 NAS 转化为寻找最大加权无环子图（MWAS）的问题。我们的算法随后致力于消除环，并仅在排序结果可信时建立图中的边。通过 MWAS，Arch-Graph 仅需少量微调预测器的预算即可对每个任务的候选模型有效排序。在 TransNAS-Bench-101 上的大量实验表明，Arch-Graph 在众多任务上具有可迁移性与高样本效率，击败了许多为单任务与多任务搜索设计的 NAS 方法。在仅 50 个模型的预算下，它能在两个搜索空间上平均找到前 0.16% 与 0.29% 的架构。
引用
@article{arxiv.2204.05941,
title = {Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search},
author = {Minbin Huang and Zhijian Huang and Changlin Li and Xin Chen and Hang Xu and Zhenguo Li and Xiaodan Liang},
journal= {arXiv preprint arXiv:2204.05941},
year = {2022}
}
备注
Accepted by CVPR 2022