通过生成式插值提升分类器的分布外鲁棒性
机器学习
2023-07-25 v1
摘要
深度神经网络在从独立同分布（i.i.d.）数据中学习时表现优异。然而，在处理分布外（OoD）数据时，其性能显著下降，此时训练与测试数据来自不同分布。在本文中，我们探索利用生成模型作为数据增强来源，以提升神经分类器的分布外鲁棒性。具体而言，我们开发了一种简单而有效的方法称为生成式插值（Generative Interpolation），以融合从多个领域训练的生成模型来合成多样的 OoD 样本。直接在源领域上训练生成模型往往遭受模式崩溃，并有时会放大数据偏差。相反，我们首先在一个源领域上训练 StyleGAN 模型，然后在其他领域上微调它，得到许多相关的生成器，其模型参数具有相同的初始化因而是对齐的。然后我们线性插值这些生成器的模型参数以产生新的一组生成器。此类插值生成器被用作额外的数据增强来源来训练分类器。插值系数可灵活控制增强的方向和强度。此外，应用了一种风格混合机制以进一步提升生成的 OoD 样本的多样性。我们的实验表明，所提方法显式增加了训练领域的多样性，并在多个数据集和多种不同分布偏移上相较基线取得了一致的提升。
引用
@article{arxiv.2307.12219,
title = {Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation},
author = {Haoyue Bai and Ceyuan Yang and Yinghao Xu and S. -H. Gary Chan and Bolei Zhou},
journal= {arXiv preprint arXiv:2307.12219},
year = {2023}
}