通过在多个时间池化上的选择实现多样化视角学习
机器学习
2024-05-21 v1 人工智能
摘要
在时间序列分类 (TSC) 中,已提出考虑序列信息的时序池化方法。然而,我们发现,每种时序池化具有不同的机制,取决于时间序列数据,可能表现更好或更差。我们将这种固定池化机制称为时序池化的单一视角。在本文中,我们提出了一种具有多样化视角学习的新型时序池化方法:在多个时序池化上进行选择 (Selection over Multiple Temporal Poolings, SoM-TP)。SoM-TP 通过注意力机制动态选择每个数据的最优时序池化方法。动态池化选择源自多选学习 (Multiple Choice Learning, MCL) 的集成概念,该概念从多个输出中选择最佳选项。SoM-TP 的注意力实现了单个分类器中非迭代的池化集成。此外,我们定义了视角损失和多样化视角学习网络 (Diverse Perspective Learning Network, DPLN)。该损失作为正则化器,反映 DPLN 的所有池化视角。我们采用基于图层相关性传播 (Layer-wise Relevance Propagation, LRP) 的视角分析揭示了单一视角的局限性,从而最终证明了 SoM-TP 的多样化视角学习。我们还在广泛的 UCR/UEA 存储库中表明,SoM-TP 在基于其他时序池化的 CNN 模型和 TSC 的最先进模型中均表现优异。
引用
@article{arxiv.2403.09749,
title = {Towards Diverse Perspective Learning with Selection over Multiple Temporal Poolings},
author = {Jihyeon Seong and Jungmin Kim and Jaesik Choi},
journal= {arXiv preprint arXiv:2403.09749},
year = {2024}
}
备注
17 pages, 9 figures