面向对话式大语言模型的角色感知启发式回顾注意力框架 - Rhea
计算与语言
2025-12-09 v1
摘要
大语言模型 (LLMs) 在单轮任务上取得了显著成果，但在多轮对话中效果下降。我们定义了这种现象为累积性情境衰减 - 注意力污染、稀释和漂移导致的情境完整性逐渐恶化。为解决这一挑战，我们提出 Rhea (Role-aware Heuristic Episodic Attention)，一种新型框架，将对话历史解耦为两个功能上独立的记忆模块：(1) 通过结构化优先级机制持久存储高保真全局约束的 Instructional Memory (IM)，以及 (2) 通过非对称噪声控制和启发式情境检索动态管理用户-模型交互的 Episodic Memory (EM)。在推理期间，Rhea 通过应用其优先级注意力机制构建高信噪比的情境：在始终优先整合全局指令的同时，选择性地整合相关的回顾信息。为验证这一方法，我们在多个多轮对话基准测试上进行实验，包括 MT-Eval 和 Long-MT-Bench+，显示 Rhea 能缓解性能衰减，在 10 分尺度上提高 1.04 分（相对于强大基线的相对提升 16%）。此外，Rhea 在长期交互中保持近乎完美的指令忠实度 (IAR > 8.1)。这些结果表明，Rhea 为构建更精确、指令一致的对话式大语言模型提供了原则且有效的框架。
引用
@article{arxiv.2512.06869,
title = {Rhea: Role-aware Heuristic Episodic Attention for Conversational LLMs},
author = {Wanyang Hong and Zhaoning Zhang and Yi Chen and Libo Zhang and Baihui Liu and Linbo Qiao and Zhiliang Tian and Dongsheng Li},
journal= {arXiv preprint arXiv:2512.06869},
year = {2025}
}