packetLSTM：面向特征空间变化的流数据的动态LSTM框架
机器学习
2024-10-24 v1 人工智能
摘要
我们研究了以流数据输入特征空间变化为特征的在线学习问题。尽管LSTM已被用于有效捕捉流数据的时间特性，但它们无法在在线学习设置中处理维度变化的流。因此，我们提出了一种基于动态LSTM的新方法，称为packetLSTM，用于对维度变化的流进行建模。packetLSTM的动态框架由一个不断演化的LSTM包组成，每个LSTM专门处理一个输入特征。每个LSTM保留其对应特征的局部信息，而共享的公共内存则整合全局信息。这种配置促进了持续学习，并缓解了遗忘问题，即使某些特征长时间缺失也是如此。利用每个特征一个LSTM并结合维度不变算子进行信息聚合的思想，增强了packetLSTM的动态特性。这种动态特性体现在模型能够根据需要激活、停用和添加新的LSTM，从而无缝适应变化的输入维度。packetLSTM在五个数据集上取得了最先进的结果，其基本原理也扩展到了其他RNN类型，如GRU和普通RNN。
引用
@article{arxiv.2410.17394,
title = {packetLSTM: Dynamic LSTM Framework for Streaming Data with Varying Feature Space},
author = {Rohit Agarwal and Karaka Prasanth Naidu and Alexander Horsch and Krishna Agarwal and Dilip K. Prasad},
journal= {arXiv preprint arXiv:2410.17394},
year = {2024}
}