变分学习诱导出自适应标签平滑
机器学习
2025-03-05 v2 人工智能
摘要
我们表明，变分学习自然诱导出自适应标签平滑，即为每个样本 specialized 的标签噪声。这种标签平滑用于处理标记错误和分布迁移的样本，但设计良好的自适应策略并非总是容易。我们提出不必走这一步，只需利用变分目标优化期间自然诱导的自适应性。我们展示了实验结果，其中一种称为IVON的变分算法在性能上超过传统标签平滑，并获得类似现有方法的自适应策略。通过将贝叶斯方法与标签平滑连接，我们的工作提供了一种处理过度自信预测的新方法。
引用
@article{arxiv.2502.07273,
title = {Variational Learning Induces Adaptive Label Smoothing},
author = {Sin-Han Yang and Zhedong Liu and Gian Maria Marconi and Mohammad Emtiyaz Khan},
journal= {arXiv preprint arXiv:2502.07273},
year = {2025}
}