基于自编码器的在线深度学习
机器学习
2022-01-20 v1 计算机视觉与模式识别
摘要
在线学习是勾勒海量实时高速数据的重要技术手段。尽管该方向已引起广泛关注，该领域多数文献忽视了以下三个问题：(1) 它们很少考虑样本中存在的底层抽象层次化潜信息，即便提取这些抽象层次化潜表示有助于更好地预测样本的类标签；(2) 对未观测数据点预先指定模型的思路不适合对概率分布演化的流数据进行建模。该挑战被称为模型灵活性。因此，考虑到这一点，我们需要设计的在线深度学习模型应具有可变的底层结构；(3) 此外，融合这些抽象层次化潜表示以实现更好的分类性能至关重要，并且在处理数据分布变化的数据流时，应对不同层次的隐表示信息赋予不同权重。为解决这些问题，我们提出了一种两阶段基于自编码器的在线深度学习模型（ODLAE）。基于自编码器，考虑重构损失，我们提取样本的抽象层次化潜表示；基于预测损失，我们设计了两种融合策略：输出级融合策略，通过融合编码器各隐藏层的分类结果得到；以及特征级融合策略，利用自注意力机制融合各隐藏层输出。最后，为提高算法鲁棒性，我们还尝试利用去噪自编码器生成层次化潜表示。在不同数据集上的实验结果验证了我们所提算法（ODLAE）优于若干基线方法的有效性。
引用
@article{arxiv.2201.07383,
title = {Online Deep Learning based on Auto-Encoder},
author = {Si-si Zhang and Jian-wei Liu and Xin Zuo and Run-kun Lu and Si-ming Lian},
journal= {arXiv preprint arXiv:2201.07383},
year = {2022}
}
备注
30 pages