通过多时间视角增强 Transformer RNN
机器学习
2024-07-15 v2 人工智能
计算与语言
摘要
我们引入了多时间视角的概念，这是一种适用于循环神经网络（RNN）架构的新方法，旨在增强其对序列数据的理解。该方法涉及维护先前遇到文本的多样化时间视图，显著丰富了语言模型解释上下文的能力。为了展示该方法的有效性，我们将其融入接收度加权键值（Receptance Weighted Key Value, RWKV）架构中，解决了其在单个隐藏状态中保留所有历史信息所固有的挑战。值得注意的是，这一改进仅以极少的参数增加为代价——甚至仅为原始参数数量的。此外，多时间视角所需的额外参数以极小的计算开销进行微调，避免了全量预训练的需要。 resulting 模型在提示推理期间保持线性计算复杂度，确保了在各种序列长度下的一致性效率。我们研究中的实证结果和消融研究验证了我们方法的有效性，展示了在多个基准测试上的性能提升。代码、模型权重和数据集已开源：https://github.com/RazvanDu/TemporalRNNs。
引用
@article{arxiv.2402.02625,
title = {Enhancing Transformer RNNs with Multiple Temporal Perspectives},
author = {Razvan-Gabriel Dumitru and Darius Peteleaza and Mihai Surdeanu},
journal= {arXiv preprint arXiv:2402.02625},
year = {2024}
}
备注
13 pages, 8 figures, 4 tables, accepted at ICML 2024 - Next Generation of Sequence Modeling Architectures workshop