内存受限 LLM 上的无限上下文处理 InfiniPot
计算与语言
2024-10-04 v1 机器学习
摘要
处理长输入上下文是大型语言模型 (LLM) 面临的重要挑战，尤其是在资源受限的环境中，如移动设备。我们的工作旨在通过引入 InfiniPot，一种针对 pre-trained LLM 设计的 novel KV 缓存控制框架，以在固定内存限制下高效管理广泛序列，无需额外训练。InfiniPot 利用持续上下文蒸馏 (CCD)，这是一种迭代过程，通过 novel importance metrics 对信息进行压缩和保留，有效地在缺乏未来上下文的情况下保持关键数据。我们的全面评估表明，InfiniPot 在各种 NLP 任务中均显著优于针对长上下文训练的模型，确立了其有效性和通用性。这一工作代表了一项重大进展，旨在使 LLM 适用于更广泛的实际场景。
引用
@article{arxiv.2410.01518,
title = {InfiniPot: Infinite Context Processing on Memory-Constrained LLMs},
author = {Minsoo Kim and Kyuhong Shim and Jungwook Choi and Simyung Chang},
journal= {arXiv preprint arXiv:2410.01518},
year = {2024}
}
备注
EMNLP 2024 Main