揭示数据增强的两面性：基于非对称蒸馏的双赢解决方案用于开放集识别
计算机视觉与模式识别
2024-05-01 v1
摘要
本文揭示了数据增强的两面性：在封闭集识别方面的提升与开放集识别的显著下降呈现出相反趋势。通过实证研究，我们发现基于多样本的增强方法会导致特征判别力下降，从而削弱开放集判别标准。尽管知识蒸馏可能通过模仿影响特征，但含模糊语义的混合特征会阻碍蒸馏过程。为此，我们提出一种非对称蒸馏框架，通过向教师模型输入额外原始数据以最大化教师模型的效益。此外，我们运用联合互信息损失和选择性重标策略以缓解难混合样本的影响。我们的方法成功缓解了开放集识别的性能下降，并在 Tiny-ImageNet 数据集上将 AUROC 提升 2%~3%，超过当前最先进方法；在大规模数据集 ImageNet-21K 上的实验表明了该方法的广泛适用性。
引用
@article{arxiv.2404.19527,
title = {Revealing the Two Sides of Data Augmentation: An Asymmetric Distillation-based Win-Win Solution for Open-Set Recognition},
author = {Yunbing Jia and Xiaoyu Kong and Fan Tang and Yixing Gao and Weiming Dong and Yi Yang},
journal= {arXiv preprint arXiv:2404.19527},
year = {2024}
}