LLM 指导的计划与检索：面向可解释用户满意度估计的战略对齐
计算与语言
2025-03-07 v1
摘要
理解用户对对话系统的满意度（称为用户满意度估计，USE）对于评估对话质量和提升用户体验至关重要。然而，现有的 USE 方法面临对用户不满意原因理解不足以及标注用户意图成本高的挑战。为此，我们提出了 PRAISE（Plan and Retrieval Alignment for Interpretable Satisfaction Estimation），一个用于有效用户满意度预测的可解释框架。PRAISE 通过三个关键模块运行。策略规划器开发策略，这些策略是用于分类用户满意度的自然语言准则。特征检索器随后整合大语言模型（LLM）中关于用户满意度的知识，并从语料中检索相关特征。最后，评分分析器评估策略预测并对用户满意度进行分类。实验结果表明，PRAISE 在 USE 任务的三个基准数据集上实现了最先进的性能。除了卓越的性能之外，PRAISE 还提供了额外的益处。它通过有效地将语料与策略对齐，提供实例级别的解释，增强了可解释性。此外，PRAISE 比现有方法更高效，通过消除推理阶段中对 LLM 的依赖实现。
引用
@article{arxiv.2503.04675,
title = {LLM-guided Plan and Retrieval: A Strategic Alignment for Interpretable User Satisfaction Estimation in Dialogue},
author = {Sangyeop Kim and Sohhyung Park and Jaewon Jung and Jinseok Kim and Sungzoon Cho},
journal= {arXiv preprint arXiv:2503.04675},
year = {2025}
}
备注
Accepted by NAACL 2025