NAS-OoD：面向分布外泛化的神经架构搜索
机器学习
2021-09-07 v1
摘要
近期分布外（OoD）泛化的进展揭示了深度学习模型对分布偏移的鲁棒性。然而，现有工作聚焦于 OoD 算法，如不变风险最小化、域泛化或稳定学习，而未考虑深度模型架构对 OoD 泛化的影响，这可能导致次优性能。神经架构搜索（NAS）方法基于架构在训练数据上的表现进行搜索，这可能使 OoD 任务的泛化性能较差。本工作中，我们提出面向 OoD 泛化的鲁棒神经架构搜索（NAS-OoD），它通过梯度下降依据架构在生成的 OoD 数据上的表现来优化架构。具体而言，学习一个数据生成器，通过最大化由不同神经架构计算的损失来合成 OoD 数据，而架构搜索的目标是找到最小化合成 OoD 数据损失的最优架构参数。数据生成器与神经架构以端到端方式联合优化，且该极小极大训练过程有效发现了能很好泛化于不同分布偏移的鲁棒架构。大量实验结果表明，NAS-OoD 在以参数数量少得多的深度模型在各种 OoD 泛化基准上取得了优越性能。此外，在一个真实工业数据集上，所提出的 NAS-OoD 方法相比最先进方法将错误率降低了 70% 以上，展示了该方法在实际应用中的实用性。
引用
@article{arxiv.2109.02038,
title = {NAS-OoD: Neural Architecture Search for Out-of-Distribution Generalization},
author = {Haoyue Bai and Fengwei Zhou and Lanqing Hong and Nanyang Ye and S. -H. Gary Chan and Zhenguo Li},
journal= {arXiv preprint arXiv:2109.02038},
year = {2021}
}
备注
Accepted by ICCV2021