可微架构搜索真的是一种一次性方法吗？
机器学习
2023-02-21 v3 计算机视觉与模式识别
摘要
可微架构搜索（DAS）因其在图像分类上的 promising 结果而成为被广泛研究的用于发现新架构的工具。DAS 的主要优势是通过权重共享一次性范式实现的效率，该范式允许高效的架构搜索。在这项工作中，我们在逆问题的系统性案例研究中考察 DAS，从而能够以受控方式分析这些潜在优势。我们证明，原则上 DAS 的成功可以从图像分类扩展到信号重建。然而，我们的实验也暴露了在逆问题中评估基于 DAS 的方法的三个基本困难：首先，所有测试用例均显示出较大方差。其次，最终性能强烈依赖于优化器的超参数。第三，训练期间使用的权重共享架构的性能不能很好地反映所发现架构的最终性能。尽管在图像重建上的结果证实了 DAS 范式的潜力，但它们对将 DAS 普遍理解为一次性方法提出了挑战。
引用
@article{arxiv.2108.05647,
title = {Is Differentiable Architecture Search truly a One-Shot Method?},
author = {Jonas Geiping and Jovita Lukasik and Margret Keuper and Michael Moeller},
journal= {arXiv preprint arXiv:2108.05647},
year = {2023}
}
备注
13 pages, 8 figures. First two and last two authors contributed each equally