在线特征更新改进了在线(广义)标签偏移适应
机器学习
2024-11-01 v3
摘要
本文解决了在线环境下标签缺失时标签偏移这一普遍问题,其中数据分布随时间变化,且及时获取标签具有挑战性。现有方法主要侧重于调整或更新预训练分类器的最后一层,我们则探索了在测试时利用无标签数据增强特征表示的未开发潜力。我们的新方法,即具有在线特征更新的在线标签偏移适应(OLS-OFU),利用自监督学习来优化特征提取过程,从而改进预测模型。通过精心设计算法,理论上OLS-OFU在考虑改进特征的同时,保持了与文献中结果相似的在线遗憾收敛性。实验上,它比现有方法取得了显著改进,其改进幅度与现有方法相对于基线(即无分布偏移适应)的改进幅度相当。
引用
@article{arxiv.2402.03545,
title = {Online Feature Updates Improve Online (Generalized) Label Shift Adaptation},
author = {Ruihan Wu and Siddhartha Datta and Yi Su and Dheeraj Baby and Yu-Xiang Wang and Kilian Q. Weinberger},
journal= {arXiv preprint arXiv:2402.03545},
year = {2024}
}