CAP：一种用于神经架构搜索的上下文感知神经预测器

神经预测器通过直接估计未见架构，有效提升了神经架构搜索(NAS)中耗时的性能评估阶段。尽管有效，但用更少的标注架构训练强大的神经预测器仍是一个巨大挑战。本文提出了一种上下文感知神经预测器(CAP)，它基于架构的上下文信息，仅需少量标注架构即可进行训练。具体来说，输入架构被编码为图，预测器推断每个图内节点周围的上下文结构。然后，通过所提出的上下文感知自监督任务增强，预训练的预测器可以获得架构的表达性和可泛化表示。因此，仅需少量标注架构即可进行训练。在不同搜索空间上的实验结果表明，CAP 的性能优于最先进的神经预测器。特别地，在 NAS-Bench-101 中，CAP 仅使用 172 个标注架构即可精确地对架构进行排序。此外，CAP 有助于在 CIFAR-10 数据集上的 NAS-Bench-101 和 DARTS 搜索空间中找到有前景的架构，可作为 NAS 高效探索搜索空间的有用导航器。