基于双重流式数据的在线深度学习
机器学习
2022-09-15 v4
摘要
本文研究一种新的双重流式数据在线学习问题，其中数据流由不断演化的特征空间刻画，新特征不断出现而旧特征逐渐消失。该问题的挑战有二：1）数据样本持续流入且可能随时间携带偏移的模式，要求学习器在线更新并随之适应；2）新出现特征仅有极少样本描述，导致弱学习器易做出错误预测。克服这些挑战的一个可行思路是建立演化前后特征空间之间的联系，使在线学习器能借助旧特征上学到的知识提升新特征上的学习效果。遗憾的是，该思路难以扩展到具有复杂特征交互的高维媒体流，因其面临在线性（偏向浅层学习器）与表达力（需深层学习器）之间的权衡。受此启发，我们提出一种新颖的 OLD^3S 范式，通过发现共享潜在子空间来汇总新旧特征空间的信息，构建中间特征映射关系。OLD^3S 的关键特性是将模型容量视为可学习的语义，依据输入数据流的复杂度与非线性以在线方式联合得出最优模型深度与参数。理论分析与实证研宄均证实了我们所提方法的可行性与有效性。
引用
@article{arxiv.2204.11793,
title = {Online Deep Learning from Doubly-Streaming Data},
author = {Heng Lian and John Scovil Atwood and Bojian Hou and Jian Wu and Yi He},
journal= {arXiv preprint arXiv:2204.11793},
year = {2022}
}
备注
Have accepted by ACMMM 2022. Legends mistake in Figure 4 has been corrected