引导对话式大语言模型进行长程情感支持对话
计算与语言
2024-09-17 v2
摘要
在本研究中，我们解决了使大语言模型 (LLMs) 在长程对话中始终遵循情感支持策略的挑战。我们专注于 Llama-2 和 Llama-3 系列模型的可引导性，考察其在整个交互过程中维持这些策略的能力。为了评估这一点，我们引入了策略相关注意力 (Strategy Relevant Attention, SRA) 指标，该指标通过注意力图量化模型对提示策略的遵循程度。为了促进我们的研究，我们创建了一个源自 ESConv 数据集的策略条件合成对话数据集。我们还提出了各种由我们提出的 SRA 指标启发的基线方法以应对该挑战，并提出了一种微调模型，显著增强了基础模型在整个对话中遵循策略的可引导性。代码和数据已在我们的 GitHub 上公开。
引用
@article{arxiv.2402.10453,
title = {Steering Conversational Large Language Models for Long Emotional Support Conversations},
author = {Navid Madani and Sougata Saha and Rohini Srihari},
journal= {arXiv preprint arXiv:2402.10453},
year = {2024}
}