UnrealNAS：我们能否用非真实数据搜索神经架构？
计算机视觉与模式识别
2022-05-20 v3
摘要
神经架构搜索（NAS）在深度神经网络（DNNs）的自动设计中已展现出巨大成功。然而，如何使用数据搜索网络架构的最佳方式仍不清楚且处于探索中。先前工作分析了 NAS 中拥有真值标签的必要性并激发了广泛兴趣。在本工作中，我们进一步质疑真实数据对于 NAS 有效是否是必要的。该问题的答案对于可访问数据量有限的应用十分重要，并可通过利用数据生成的额外灵活性来帮助人们改进 NAS。为探究 NAS 是否需要真实数据，我们使用以下方式构建三类非真实数据集：1）随机标注的真实图像；2）生成的图像与标签；3）带随机标签的生成高斯噪声。这些数据集有助于分析所搜索架构的泛化性与表达能力。我们使用流行的可微 NAS 方法研究了在这些构建数据集上搜索的架构的性能。在 CIFAR、ImageNet 和 CheXpert 上的大量实验表明，与基于真实标注数据的传统 NAS 流程所得的架构相比，所搜索架构能取得有前景的结果，暗示了使用非真实数据执行 NAS 的可行性。
引用
@article{arxiv.2205.02162,
title = {UnrealNAS: Can We Search Neural Architectures with Unreal Data?},
author = {Zhen Dong and Kaicheng Zhou and Guohao Li and Qiang Zhou and Mingfei Guo and Bernard Ghanem and Kurt Keutzer and Shanghang Zhang},
journal= {arXiv preprint arXiv:2205.02162},
year = {2022}
}