ParZC：用于高效神经架构搜索的参数化零成本代理
计算机视觉与模式识别
2024-02-06 v1
摘要
零样本神经架构搜索（NAS）的最新进展突显了零成本代理在各种NAS基准测试中的有效性。一些研究提出了零成本代理的自动设计以实现最先进的性能，但需要繁琐的搜索过程。此外，我们发现了当前零成本代理的一个关键问题：它们聚合节点级零成本统计量，而没有考虑神经网络中并非所有节点对性能估计的影响相同。我们的观察表明，节点级零成本统计量对性能的贡献差异显著，每个节点都表现出一定程度的不确定性。基于这一见解，我们引入了一种称为参数化零成本代理（ParZC）框架的新方法，通过参数化增强零成本代理的适应性。为了解决节点无区分问题，我们提出了一种带有贝叶斯网络的混合器架构（MABN）来探索节点级零成本统计量并估计节点特定的不确定性。此外，我们提出了DiffKendall作为损失函数，以可微分的方式直接优化Kendall的Tau系数，从而使我们的ParZC能够更好地处理架构排序中的差异。在NAS-Bench-101、201和NDS上的全面实验证明了我们提出的ParZC相对于现有零样本NAS方法的优越性。此外，我们通过将ParZC迁移到Vision Transformer搜索空间，展示了其多功能性和适应性。
引用
@article{arxiv.2402.02105,
title = {ParZC: Parametric Zero-Cost Proxies for Efficient NAS},
author = {Peijie Dong and Lujun Li and Xinglin Pan and Zimian Wei and Xiang Liu and Qiang Wang and Xiaowen Chu},
journal= {arXiv preprint arXiv:2402.02105},
year = {2024}
}