面向多样任务的高效架构搜索
机器学习
2022-10-11 v3 人工智能
摘要
尽管神经架构搜索（NAS）已使自动化机器学习（AutoML）在充分研究的领域成为可能，但其在计算机视觉以外任务上的应用仍待探索。由于研究较少的领域恰是我们预期AutoML影响最大的地方，本工作中我们研究用于高效求解多样问题的NAS。为寻求快速、简单且广泛适用的方法，我们固定一个标准卷积网络（CNN）拓扑，并提议搜索其操作应采用的合适核大小与膨胀率。这在仅需在操作空间搜索的同时，极大扩展了模型为不同类型数据在多分辨率提取特征的能力。为克服该搜索空间中朴素权值共享的效率挑战，我们引入DASH，一种可微分NAS算法，利用卷积的傅里叶对角化计算混合操作，取得了更优的渐近复杂度及实践中高达10倍的搜索时间加速。我们在涵盖偏微分方程求解、蛋白质折叠和心脏病检测等多种应用领域的十个任务上评估DASH。DASH在总体上优于最先进的AutoML方法，在七个任务上达到已知最佳的自动化性能。同时，在十个任务中的六个上，搜索与重训练的总时间比训练一个远不准确得多的CNN骨干仅慢不到2倍。
引用
@article{arxiv.2204.07554,
title = {Efficient Architecture Search for Diverse Tasks},
author = {Junhong Shen and Mikhail Khodak and Ameet Talwalkar},
journal= {arXiv preprint arXiv:2204.07554},
year = {2022}
}
备注
NeurIPS 2022 Camera-Ready; code available at https://github.com/sjunhongshen/DASH