基于标签平滑与分布鲁棒优化融合的少样本向未见域灵活泛化
机器学习
2024-08-12 v1 人工智能
摘要
在小规模数据集上应用深度神经网络（DNN）时，过拟合现象频繁发生，DNN 无法从已有数据良好地泛化到未见数据。导致过拟合的主要原因是小规模数据集无法反映真实世界的情形。标签平滑（LS）是一种有效的正则化方法，通过将独热标签与均匀标签向量混合来防止过拟合。然而，LS 仅关注标签而忽略了已有数据的分布。本文将分布鲁棒优化（DRO）引入 LS，在训练 DNN 时实现将已有数据分布灵活地迁移至未见域。具体而言，我们证明了将 DRO 与 LS 结合后，LS 的正则化效应可扩展为 DNN 参数的正则化项。该正则化项可用于将已有数据迁移至未见域并生成新数据。此外，我们提出了一种近似梯度迭代标签平滑算法（GI-LS）来实现上述发现并训练 DNN。我们证明已有数据的迁移不影响 GI-LS 的收敛性。由于 GI-LS 包含一系列超参数，我们进一步考虑使用贝叶斯优化（BO）来寻找这些超参数的较优组合。以小规模异常分类任务为案例，我们评估了 GI-LS，结果明确展示了其优越性能。
引用
@article{arxiv.2408.05082,
title = {Generalizing Few Data to Unseen Domains Flexibly Based on Label Smoothing Integrated with Distributionally Robust Optimization},
author = {Yangdi Wang and Zhi-Hai Zhang and Su Xiu Xu and Wenming Guo},
journal= {arXiv preprint arXiv:2408.05082},
year = {2024}
}