CantTalkAboutThis：使语言模型在对话中保持话题一致
计算与语言
2024-06-24 v2
摘要
近期指令微调数据集的进展主要集中在数学或逻辑推理等特定任务上。在用于对齐语言模型以保持对话话题相关性（这是将聊天机器人部署到生产环境的关键方面）的数据方面，存在显著空白。我们引入了CantTalkAboutThis数据集，以帮助语言模型在任务导向交互中保持对当前主题的关注。该数据集包含来自不同领域的广泛对话主题的合成对话。这些对话中穿插了有意将聊天机器人从预定义主题引开的干扰轮次。与GPT-4-turbo和Mixtral-Instruct等通用指令微调LLM相比，在此数据集上微调语言模型有助于使其对偏离分配的角色更具韧性，并提高其保持话题连贯性的能力。此外，初步观察表明，在此数据集上训练模型还能提升其在细粒度指令遵循任务（包括安全对齐）上的性能。
引用
@article{arxiv.2404.03820,
title = {CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
author = {Makesh Narsimhan Sreedhar and Traian Rebedea and Shaona Ghosh and Jiaqi Zeng and Christopher Parisien},
journal= {arXiv preprint arXiv:2404.03820},
year = {2024}
}