MELODI：探索长上下文记忆压缩
机器学习
2024-10-07 v1 人工智能
摘要
我们提出了 MELODI，这是一种用于高效处理长文档的记忆架构。MELODI 的核心原理是将短期记忆和长期记忆表示为在网络层和上下文窗口之间的分层压缩方案。具体而言，短期记忆通过在多个网络层上对上下文窗口进行递归压缩，确保窗口之间的平滑过渡。相比之下，长期记忆则在单个中间层内进行进一步压缩，并聚合跨越上下文窗口的信息，有效地整合整个历史记录中关键信息。相较于采用稠密注意力处理大规模长期记忆（64K 键值对）的强基准——记忆化 Transformer——我们的方法在各种长上下文数据集上表现更佳，同时将记忆占用减少了约 8 倍。
引用
@article{arxiv.2410.03156,
title = {MELODI: Exploring Memory Compression for Long Contexts},
author = {Yinpeng Chen and DeLesley Hutchins and Aren Jansen and Andrey Zhmoginov and David Racz and Jesper Andersen},
journal= {arXiv preprint arXiv:2410.03156},
year = {2024}
}