Mind the Quote：通过即插即用模块实现带引号感知的对话
人工智能
2025-06-02 v1 计算与语言
摘要
人机对话常依赖引用早期文本——“check it with the formula I just highlighted”——但当今大型语言模型（LLMs）缺乏定位和利用此类文本片段的显式机制。我们将此挑战 formalise 为 span-conditioned generation，将每个对话轮次分解为对话历史、一组 token-offset 引用片段以及意图语句。基于此抽象，我们引入一个引用中心数据管道，自动合成 task-specific 对话，经过 multi-stage consistency checks 验证答案正确性，并产生异构训练语料库以及覆盖五种典型场景的首个基准。为满足基准的 zero-overhead 和 parameter-efficiency 要求，我们提出 QuAda，这是一种轻量级基于训练的方法，通过为每个注意力头附加两个瓶颈投影，在推理时动态放大或抑制对引用片段的注意力，同时保持 prompt 不变且仅更新 < 2.8% 的 backbone 权重。实验表明，QuAda 适用于所有场景，并能泛化到未见主题，为引用感知对话提供了有效、即插即用的解决方案。
引用
@article{arxiv.2505.24292,
title = {Mind the Quote: Enabling Quotation-Aware Dialogue in LLMs via Plug-and-Play Modules},
author = {Yueqi Zhang and Peiwen Yuan and Shaoxiong Feng and Yiwei Li and Xinglin Wang and Jiayi Shi and Chuyi Tan and Boyuan Pan and Yao Hu and Kan Li},
journal= {arXiv preprint arXiv:2505.24292},
year = {2025}
}