异构任务下的自演化LLM记忆提取
计算与语言
2026-04-14 v1
摘要
随着基于大型语言模型(LLM)的助手变得持久和个性化，它们必须从过去的对话中提取并保留有用的信息作为记忆。然而，值得记忆的信息类型在不同任务中差异很大。我们正式化“异构记忆提取”任务，引入**BEHEMOTH**基准，该基准将 repurposed 18个现有数据集，涵盖个人化、问题解决和智能体任务，并使用下游效用驱动指标进行系统评估。我们的经验分析确认，没有单一的静态提取提示在所有任务类别中均占优势，现有自演化提示优化框架（最初设计用于均匀分布）在训练任务异构时会退化。为此，我们提出**CluE**，一种基于聚类的自演化策略，将训练样本按提取场景分组，独立分析每个聚类，并综合跨聚类见解以更新提取提示。在BEHEMOTH上的实验表明，CluE在异构任务上实现有效的跨域泛化（相对提升9.04%），持续优于先前的自演化框架。
关键词
引用
@article{arxiv.2604.11610,
title = {Self-Evolving LLM Memory Extraction Across Heterogeneous Tasks},
author = {Yuqing Yang and Tengxiao Liu and Wang Bill Zhu and Taiwei Shi and Linxin Song and Robin Jia},
journal= {arXiv preprint arXiv:2604.11610},
year = {2026}
}