DCLP：基于课程对比学习的神经架构预测器
机器学习
2023-12-15 v2
摘要
神经预测器在神经架构搜索（NAS）的评估过程中已展现出巨大潜力。然而，当前基于预测器的方法忽视了训练预测器需要大量已训练神经网络作为带标签训练集这一事实，而此类数据的获取成本高昂。因此，利用预测器进行NAS的关键问题是如何使用尽可能少的已训练神经网络训练出高性能预测器。尽管一些方法试图通过无监督学习解决该问题，但它们常导致预测不准确。我们认为，为通用图数据设计的无监督任务对神经网络而言过于困难，致使无监督训练在NAS中易出现性能崩溃。为解决此问题，我们提出了一种用于神经预测器的课程引导对比学习框架（DCLP）。我们的方法通过设计新颖课程来简化对比任务，从而增强对比训练期间无标签训练数据分布的稳定性。具体而言，我们提出一种调度器，依据各数据的对比难度对训练数据排序，随后按顺序输入对比学习器。该方法使训练数据分布集中，令对比训练更高效。借助我们的方法，对比学习器通过无监督数据在平滑学习曲线上增量学习特征表示，避免了训练数据分布过度多变可能引发的性能崩溃。我们通过实验证明，与现有预测器相比，DCLP具有更高准确率和效率，且与搜索策略结合时，在各种搜索空间中展现出发现更优架构的良好潜力。代码见：https://github.com/Zhengsh123/DCLP。
引用
@article{arxiv.2302.13020,
title = {DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning},
author = {Shenghe Zheng and Hongzhi Wang and Tianyu Mu},
journal= {arXiv preprint arXiv:2302.13020},
year = {2023}
}
备注
Accepted by AAAI24