面向标签噪声下鲁棒的可微架构搜索
机器学习
2021-10-26 v1 计算机视觉与模式识别
摘要
神经架构搜索 (NAS) 是设计鲁棒神经架构的变革者。由 NAS 设计的架构在准确率、规模、内存占用和 FLOPs 方面优于或与最佳手动网络设计相竞争。尽管如此，先前研究聚焦于为干净高质量数据开发 NAS 算法，这是一个限制性强且有些不现实的假设。本文关注可微 NAS 算法，表明若类标签含噪，原始 NAS 算法会遭受性能损失。为应对此问题，我们利用信息瓶颈原理作为正则化器。这引导我们开发一种在学习过程中引入的噪声注入操作，防止网络从噪声样本中学习。我们的经验评估表明，若数据确实干净，噪声注入操作不会降低 NAS 算法的性能。相反，若数据含噪，我们算法学习到的架构轻松优于专门配备复杂机制以在标签噪声下学习的算法。与许多为含噪标签设计的算法不同，我们的算法不需要关于噪声属性及其特征的先验知识。
引用
@article{arxiv.2110.12197,
title = {Towards a Robust Differentiable Architecture Search under Label Noise},
author = {Christian Simon and Piotr Koniusz and Lars Petersson and Yan Han and Mehrtash Harandi},
journal= {arXiv preprint arXiv:2110.12197},
year = {2021}
}
备注
Accepted to WACV 2022