DARTSRepair:核心失败集引导的 DARTS 以增强网络对常见 corruptions 的鲁棒性
计算机视觉与模式识别
2022-09-22 v1 机器学习
摘要
网络架构搜索(NAS),尤其是可微架构搜索(DARTS)方法,已展现出在感兴趣特定数据集上学习优异模型架构的强大能力。与使用固定数据集不同,本文关注 NAS 的一个不同但重要的场景:如何以少量采集的、因某些具有特定模式(如噪声、模糊等)的真实世界未知 corruptions 而退化的误分类样本为引导,精炼已部署网络的模型架构以增强其鲁棒性。为此,我们首先开展实证研究,验证模型架构确实可与 corruption 模式相关。令人惊讶的是,仅向干净训练数据集(如 个样本)中加入少量 corrupted 且误分类的样本(如 个样本),我们便能精炼模型架构并显著提升鲁棒性。为使方法更实用,关键问题即如何选取恰当的失败样本以有效引导 NAS,应被仔细研究。随后,我们提出一种新颖的核心失败集引导 DARTS,其将 K-center-greedy 算法嵌入 DARTS 以选取合适的 corrupted 失败样本来精炼模型架构。我们以四种特定真实世界 corruptions 为引导,将方法用于 DARTS 精炼的 DNN 在干净及 15 种 corruptions 上的测试。相较于最先进的 NAS 以及基于数据增强的增强方法,我们的最终方法在 corrupted 数据集与原始干净数据集上均能取得更高准确率。在某些 corruption 模式上,我们可实现高达超过 45% 的绝对准确率提升。
引用
@article{arxiv.2209.10381,
title = {DARTSRepair: Core-failure-set Guided DARTS for Network Robustness to Common Corruptions},
author = {Xuhong Ren and Jianlang Chen and Felix Juefei-Xu and Wanli Xue and Qing Guo and Lei Ma and Jianjun Zhao and Shengyong Chen},
journal= {arXiv preprint arXiv:2209.10381},
year = {2022}
}
备注
To appear in Pattern Recognition (PR)