FairNAS：重新思考权重共享神经架构搜索的评估公平性
机器学习
2021-07-29 v5 人工智能
计算机视觉与模式识别
机器学习
摘要
权重共享神经架构搜索中最关键的问题之一，是在预定义搜索空间内对候选模型的评估。实践中，训练一个一次性超网作为评估器。忠实的排序无疑会带来更精确的搜索结果。然而，当前方法易于做出误判。本文中，我们证明它们的有偏评估源于超网训练固有的不公平性。有鉴于此，我们提出两级约束：期望公平性与严格公平性。特别地，严格公平性确保所有选择块在训练全程拥有平等的优化机会，既不高估也不低估其能力。我们证明这对于提升模型排序的可信度至关重要。将所提公平性约束下训练的一次性超网与多目标进化搜索算法结合，我们得到多种最先进模型，例如 FairNAS-A 在 ImageNet 上达到 77.5% 的 top-1 验证准确率。模型及其评估代码已公开于 http://github.com/fairnas/FairNAS 。
引用
@article{arxiv.1907.01845,
title = {FairNAS: Rethinking Evaluation Fairness of Weight Sharing Neural Architecture Search},
author = {Xiangxiang Chu and Bo Zhang and Ruijun Xu},
journal= {arXiv preprint arXiv:1907.01845},
year = {2021}
}
备注
Accepted to ICCV21