通过归一化折损累计增益学习排序优异神经架构
计算机视觉与模式识别
2022-09-12 v2 人工智能
摘要
神经架构搜索（NAS）的关键挑战之一是如何高效地对架构性能进行排序。性能排序器的主流评估使用排序相关性（如Kendall's tau），其对整个空间给予同等关注。然而，NAS的优化目标是识别顶级架构，而对搜索空间中的其他架构关注较少。本文中，我们从经验和理论上表明归一化折损累计增益（NDCG）是排序器更好的度量。随后，我们提出一种新算法AceNAS，其直接用LambdaRank优化NDCG。它还利用权重共享NAS产生的弱标签预训练排序器，以进一步降低搜索代价。在12个NAS基准和一个大规模搜索空间上的大量实验表明，我们的方法持续优于SOTA NAS方法，准确率提升达3.67%，搜索代价降低8倍。
引用
@article{arxiv.2108.03001,
title = {Learning to Rank Ace Neural Architectures via Normalized Discounted Cumulative Gain},
author = {Yuge Zhang and Quanlu Zhang and Li Lyna Zhang and Yaming Yang and Chenqian Yan and Xiaotian Gao and Yuqing Yang},
journal= {arXiv preprint arXiv:2108.03001},
year = {2022}
}
备注
Code: https://github.com/ultmaster/AceNAS