将语言模型转化为基于价值的战略规划器
计算与语言
2025-08-28 v6 人工智能
摘要
情感支持对话（ESC）旨在通过有效的对话缓解个体的情感痛苦。尽管大型语言模型（LLM）在 ESC 方面取得了显著进展，但大多数研究可能未从状态模型的角度定义图，从而为长期满足度提供次优解。为此，我们在 LLM 上利用 Q-learning，提出一种称为 straQ* 的框架。我们的框架允许插拔式 LLM 在 ESC 中启动规划，基于长期收益确定最优策略，最终指导 LLM 生成响应。大量实验表明，straQ* 在 ESC 数据集上优于许多基线，包括直接推理、自完善、链式思考、微调和有限状态机。
引用
@article{arxiv.2505.06987,
title = {Convert Language Model into a Value-based Strategic Planner},
author = {Xiaoyu Wang and Yue Zhao and Qingqing Gu and Zhonglin Jiang and Xiaokai Chen and Yong Chen and Luo Ji},
journal= {arXiv preprint arXiv:2505.06987},
year = {2025}
}
备注
13 pages, 6 figures, ACL 2025 Industry Track