Pi-NAS：通过减小超网训练一致性偏移改进神经架构搜索
计算机视觉与模式识别
2021-08-24 v1 机器学习
摘要
近来提出的神经架构搜索（NAS）方法在超网中协同训练数十亿个架构，并利用从超网剥离的网络权重估计其潜在准确率。然而，架构预测准确率与其实际能力之间的排序相关性是不正确的，这导致了现有 NAS 方法的困境。我们将此排序相关性问题归因于超网训练一致性偏移，包括特征偏移与参数偏移。特征偏移被认定为因随机路径采样导致的隐藏层动态输入分布。输入分布动态影响损失下降，并最终影响架构排序。参数偏移被认定为共享层在不同训练步中位于不同路径时所受的矛盾参数更新。快速变化的参数无法保持架构排序。我们同时使用一种称为 Pi-NAS 的非平凡超网-Pi 模型来同时解决这两种偏移。具体而言，我们采用包含跨路径学习的超网-Pi 模型以减小不同路径间的特征一致性偏移。同时，我们采用一种包含负样本的新颖非平凡均值教师来克服参数偏移与模型碰撞。此外，我们的 Pi-NAS 以无监督方式运行，可搜索更具可迁移性的架构。在 ImageNet 及广泛下游任务（如 COCO 2017、ADE20K 与 Cityscapes）上的大量实验证明了我们的 Pi-NAS 相较有监督 NAS 的有效性与通用性。代码见：https://github.com/Ernie1/Pi-NAS。
引用
@article{arxiv.2108.09671,
title = {Pi-NAS: Improving Neural Architecture Search by Reducing Supernet Training Consistency Shift},
author = {Jiefeng Peng and Jiqi Zhang and Changlin Li and Guangrun Wang and Xiaodan Liang and Liang Lin},
journal= {arXiv preprint arXiv:2108.09671},
year = {2021}
}
备注
Accepted to ICCV 2021