通过递归标签校准的无数据神经架构搜索
机器学习
2022-07-15 v2 人工智能
计算机视觉与模式识别
摘要
本文旨在探索仅给定预训练模型而不使用任何原始训练数据时神经架构搜索（NAS）的可行性。这是现实场景中用于隐私保护、避免偏差等的重要情形。为此，我们首先通过从预训练深度神经网络中恢复知识来合成可用数据。随后我们使用合成数据及其预测的软标签来引导神经架构搜索。我们指出，NAS 任务要求合成数据（此处针对图像域）具备足够的语义、多样性，并与自然图像有最小的域差距。对于语义，我们提出递归标签校准以产生更具信息量的输出。对于多样性，我们提出区域更新策略以生成更多样且语义更丰富的合成数据。对于最小域差距，我们使用输入和特征级正则化在潜空间中模仿原始数据分布。我们用三种流行的 NAS 算法实例化所提框架：DARTS、ProxylessNAS 和 SPOS。令人惊讶的是，我们的结果表明，使用我们的合成数据搜索发现的架构所取得的准确率，首次达到可与甚至高于使用原始数据搜索发现的架构相媲美的水平，从而得出如下结论：若合成方法设计得当，NAS 可有效进行而无需访问原始或所谓自然数据。
引用
@article{arxiv.2112.02086,
title = {Data-Free Neural Architecture Search via Recursive Label Calibration},
author = {Zechun Liu and Zhiqiang Shen and Yun Long and Eric Xing and Kwang-Ting Cheng and Chas Leichner},
journal= {arXiv preprint arXiv:2112.02086},
year = {2022}
}
备注
ECCV 2022