TransNAS-Bench-101：提升跨任务神经架构搜索的可迁移性与泛化性
计算机视觉与模式识别
2021-05-26 v1 机器学习
摘要
神经架构搜索(NAS)近期的突破将该领域的研究范围扩展到更广泛的视觉任务和更多样化的搜索空间。尽管现有NAS方法大多在单一任务上设计架构，但超越单任务搜索、追求跨各种任务更高效通用解的算法正在涌现。其中许多利用迁移学习，试图保留、复用和精炼网络设计知识，以在未来任务中实现更高效率。然而，跨任务NAS巨大的计算成本和实验复杂性对该方向有价值的研究造成了障碍。现有NAS基准均聚焦于一种视觉任务，即分类。本工作中，我们提出TransNAS-Bench-101，一个包含跨七项任务网络性能的基准数据集，涵盖分类、回归、像素级预测和自监督任务。这种多样性为NAS方法在任务间迁移提供了机会，并允许更复杂的迁移方案演进。我们探索了两种根本不同类型的搜索空间：单元级搜索空间和宏级搜索空间。在七个任务上评估的7,352个骨干网络，提供了51,464个带详细训练信息的已训练模型。借助TransNAS-Bench-101，我们希望推动卓越NAS算法的出现，将跨任务搜索效率和泛化性提升到新高度。我们的数据集文件将在Mindspore、VEGA上提供。
引用
@article{arxiv.2105.11871,
title = {TransNAS-Bench-101: Improving Transferability and Generalizability of Cross-Task Neural Architecture Search},
author = {Yawen Duan and Xin Chen and Hang Xu and Zewei Chen and Xiaodan Liang and Tong Zhang and Zhenguo Li},
journal= {arXiv preprint arXiv:2105.11871},
year = {2021}
}
备注
Published at CVPR 2021. 8 pages main paper, 13 pages in total