QRMeM：通过先提问后反思的记忆机制突破长度限制
计算与语言
2024-09-27 v2
摘要
尽管大语言模型（LLM）在自然语言处理领域取得了显著进展，但它们在处理长文本时仍然存在困难。记忆机制提供了一种管理长上下文的灵活解决方案，利用压缩、摘要和结构化等技术，实现对大量文本的细致高效处理。然而，现有技术在静态知识整合方面面临挑战，导致对任务特定需求的适应性不足，并缺失多片段间的关联，这阻碍了在响应过程中对相关片段进行动态重组和逻辑组合。为了解决这些问题，我们引入了一种新颖的策略——先提问后反思记忆机制（QRMeM），该机制采用双结构记忆池。该记忆池协同整合了静态文本内容与结构化图引导，培养了一种反思性的试错方法来导航和识别相关片段。我们在多项选择题（MCQ）和多文档问答（Multi-doc QA）基准上的评估表明，与现有方法相比，QRMeM的性能得到了提升。
引用
@article{arxiv.2406.13167,
title = {QRMeM: Unleash the Length Limitation through Question then Reflection Memory Mechanism},
author = {Bo Wang and Heyan Huang and Yixin Cao and Jiahao Ying and Wei Tang and Chong Feng},
journal= {arXiv preprint arXiv:2406.13167},
year = {2024}
}
备注
EMNLP 2024 Findings