基于贝叶斯的在线标签漂移估计:动态Dirichlet先验
机器学习
2025-12-01 v1 机器学习
摘要
标签漂移是监督学习中常见的挑战,源于测试数据的类别先验分布与训练数据不同,导致分类器性能显著下降。为准确估计测试先验并提升分类准确性,本文提出一种基于贝叶斯框架的标签漂移估计方法,称为Full Maximum A Posterior Label Shift(FMAPLS),及其在线版本online-FMAPLS。利用批量和在线 Expectation-Maximization(EM)算法,这些方法联合动态优化Dirichlet 先验参数和类别先验,从而克服了现有Maximum A Posterior Label Shift(MAPLS)方法的刚性约束。此外,我们引入线性替代函数(LSF)取代梯度式参数更新,得到闭式解,降低计算复杂度,同时保持渐近等价。online 变体用随机近似取代批量 E 步,实现对流式数据的实时适应。进一步的理论分析揭示了在线收敛速率与估计精度之间的根本性权衡。在CIFAR100和ImageNet数据集上进行大量实验,分别在被抽样长尾和Dirichlet 测试先验下,FMAPLS 和 online-FMAPLS 分别实现了最高40%和12%的KL 发散降低,显著提升了移位后准确性,尤其在严重类别不平衡和分布不确定性下。这些结果确认了所提方法在大规模和动态学习场景中的鲁棒性、可扩展性及适用性。
引用
@article{arxiv.2511.18615,
title = {Bayesian-based Online Label Shift Estimation with Dynamic Dirichlet Priors},
author = {Jiawei Hu and Javier A. Barria},
journal= {arXiv preprint arXiv:2511.18615},
year = {2025}
}
备注
13 pages, submitted to IEEE journal for possible publication