RRWKV：在 RWKV 中捕获长程依赖
计算与语言
2024-09-16 v4 人工智能
摘要
得益于令人瞩目的点积注意力，Transformer 已成为各种自然语言处理（NLP）任务中的主导架构。近来，接受权重键值（RWKV）架构采用非 Transformer 架构以消除点积注意力的缺陷，其后内存和计算复杂度随序列长度呈二次方增长。尽管 RWKV 已利用线性张量积注意力机制并通过部署时间顺序模式实现并行化计算，但由于其在回顾先前信息方面的局限，与标准 Transformer 中通过直接交互获得的完整信息相比，它无法捕获长程依赖。因此，本文通过将回顾能力引入 RWKV 设计了回顾式接受权重键值（RRWKV）架构，以有效吸收信息，同时保持内存和计算效率。
引用
@article{arxiv.2306.05176,
title = {RRWKV: Capturing Long-range Dependencies in RWKV},
author = {Leilei Wang},
journal= {arXiv preprint arXiv:2306.05176},
year = {2024}
}
备注
Upon further review, the authors have determined that the conclusions presented in the paper are no longer valid or contain errors. As a result, we have decided to withdraw the paper to avoid the spread of incorrect findings