Multi-Predict：用于高效神经架构搜索的少样本预测器

许多硬件感知的神经架构搜索（NAS）方法已被开发出来，以在更高准确率和更低延迟的联合目标下优化神经网络（NN）的拓扑结构。近来，准确率预测器和延迟预测器均在 NAS 中得到了极大成功的应用，分别实现了高样本效率和对硬件（HW）设备延迟的精确建模。然而，每一个新的 NAS 搜索空间或 NN 任务都需要训练一个新的准确率预测器，并且每一个新的 HW 设备还需额外训练一个新的延迟预测器。本文中，我们探索使准确率和延迟预测器实现多任务、多搜索空间和多硬件适配的方法，以降低 NAS 成本。我们引入了一种基于零成本代理的、与搜索空间无关的 NN 编码，可在多个任务和 NAS 搜索空间上实现样本高效的预测，在多种场景下将延迟与准确率预测器的端到端样本效率提升超过一个数量级。例如，我们的 NN 编码使得延迟预测器在不到 85 次 HW 测量下即可从 NASBench-201 迁移到 FBNet（反之亦然），相比近期的元学习方法样本效率提升 400$\times$。我们的方法还将准确率预测器的总样本效率提升超过一个数量级。最后，我们在 28 个 NAS 搜索空间和任务上展示了我们的方法在多搜索空间和多任务准确率预测上的有效性。