RigLSTM：用于可泛化序列学习的递归独立网格 LSTM
机器学习
2023-11-07 v1 人工智能
摘要
现实世界中的序列过程常携带以特定形式相互交互的简单子系统组合。学习此类模块化结构往往能提升对环境变化的鲁棒性。本文提出递归独立网格 LSTM（RigLSTM），由一组相互协作的独立 LSTM 单元组成，以利用目标任务的底层模块化结构。我们的模型采用单元选择、输入特征选择、隐藏状态选择与软状态更新，在近期 Grid LSTM 基础上针对训练与评估间某些因素不同的任务实现更好的泛化能力。具体而言，在每时间步仅激活部分单元，且被激活单元选择相关输入与其他单元进行通信。在一个时间步结束时，被激活单元的隐藏状态通过考虑输入与来自上一及当前时间步隐藏状态间的相关性进行更新。在多样化序列建模任务上的大量实验表明，当测试环境存在变化时其具有优越的泛化能力。源代码见 \url{https://github.com/ziyuwwang/rig-lstm}。
引用
@article{arxiv.2311.02123,
title = {RigLSTM: Recurrent Independent Grid LSTM for Generalizable Sequence Learning},
author = {Ziyu Wang and Wenhao Jiang and Zixuan Zhang and Wei Tang and Junchi Yan},
journal= {arXiv preprint arXiv:2311.02123},
year = {2023}
}