迈向鲁棒的分布外泛化：数据增强与神经架构搜索方法

Haoyue Bai

迈向鲁棒的分布外泛化：数据增强与神经架构搜索方法

计算机视觉与模式识别 2024-10-30 v1 人工智能机器学习

作者: Haoyue Bai

摘要

深度学习近年来取得了巨大成功。尽管如此，当遇到分布外（OoD）数据，即训练和测试数据来自不同分布时，其实际性能往往会急剧下降。在本论文中，我们研究了实现深度学习鲁棒分布外泛化的方法，即其性能不易受测试数据分布偏移的影响。我们首先提出了一种新颖有效的方法，用于解耦对识别非必要的特征之间的虚假相关性。该方法通过对类别分支和上下文分支的损失梯度进行正交化，采用分解特征表示。此外，我们对上下文相关特征（例如，目标对象的风格、背景或场景）执行基于梯度的增强，以提高所学表示的鲁棒性。结果表明，我们的方法能很好地泛化到不同的分布偏移。随后，我们研究了在分布外场景下增强神经架构搜索的问题。我们提出优化架构参数，以最小化在合成分布外数据上的验证损失，条件是相应的网络参数最小化训练损失。此外，为了获得合适的验证集，我们通过最大化由不同神经架构计算的损失来学习一个条件生成器。结果表明，我们的方法能有效发现对分布外泛化表现良好的鲁棒架构。

关键词

分布外泛化数据增强神经架构搜索伪相关性特征解耦梯度正交化鲁棒表示学习

引用

@article{arxiv.2410.21313,
  title  = {Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches},
  author = {Haoyue Bai},
  journal= {arXiv preprint arXiv:2410.21313},
  year   = {2024}
}

备注

Hong Kong University of Science and Technology Thesis

迈向鲁棒的分布外泛化：数据增强与神经架构搜索方法

摘要

关键词

引用

备注

相关论文