类先验偏移下流式数据的轻量级条件模型外推方法
机器学习
2022-06-13 v1
摘要
我们提出 LIMES，一种受近期元学习成功启发、用于处理非平稳流式数据学习的新方法。其核心思想并非试图学习一个必须在所有出现的数据分布上都表现良好的单一分类器，也不是学习许多独立的分类器，而是采用混合策略：我们学习一组单一的模型参数，并由此通过分类器自适应导出针对任一特定数据分布的专用分类器。假设一个存在类先验偏移的多类分类设定，该自适应步骤可解析执行，仅影响分类器的偏置项。我们工作的另一贡献是一个外推步骤，它基于先前数据预测未来时间步的合适自适应参数。二者结合，我们得到一种从轻量级的流式数据学习流程，可应对变化的类分布，与训练单一模型相比不增加可训练参数，且几乎不带来额外内存或计算开销。在一组使用 Twitter 数据的示例任务上的实验表明，LIMES 取得了高于对比方法的准确率，尤其在与相关的真实世界指标——日内最低准确率——相关的方面。
引用
@article{arxiv.2206.05181,
title = {Lightweight Conditional Model Extrapolation for Streaming Data under Class-Prior Shift},
author = {Paulina Tomaszewska and Christoph H. Lampert},
journal= {arXiv preprint arXiv:2206.05181},
year = {2022}
}