ShuffleMix：通过插值隐状态的通道级混洗改进表征
计算机视觉与模式识别
2023-05-31 v1
摘要
Mixup风格的数据增强算法已作为表征学习中的隐式网络正则化被广泛应用于各类任务，以提升模型泛化能力，其可通过在输入或特征空间以及目标空间中对带标签样本进行线性插值来实现。受替代性dropout策略对训练样本有限模式过拟合的良好鲁棒性启发，本文引入了一种新概念ShuffleMix——混合隐特征的混洗（Shuffle of Mixed hidden features），可解释为特征空间中的一种dropout操作。具体而言，我们的ShuffleMix方法倾向于对随机选取的特征通道进行简单线性混洗，以在训练样本间进行特征mixup，从而利用语义插值监督信号，该方法还可通过额外结合通道内特征的线性插值扩展为一种广义混洗操作。与其直接竞争者——特征增强方法Manifold Mixup相比，所提出的ShuffleMix能获得更优的泛化性能，原因在于其对生成样本施加了更灵活和平滑的约束，并实现了通道级特征dropout的正则化效果。在单标签与多标签视觉分类任务的多个公开基准数据集上的实验结果，证实了我们的方法在持续改进行 state-of-the-art 的mixup增强表征方面的有效性。
引用
@article{arxiv.2305.18684,
title = {ShuffleMix: Improving Representations via Channel-Wise Shuffle of Interpolated Hidden States},
author = {Kangjun Liu and Ke Chen and Lihua Guo and Yaowei Wang and Kui Jia},
journal= {arXiv preprint arXiv:2305.18684},
year = {2023}
}