CoXQL:对话式 XAI 系统中解析解释请求的数据集
计算与语言
2024-09-23 v3
摘要
基于大语言模型(LLM)的对话式可解释人工智能(ConvXAI)系统在自然语言处理(NLP)和人机交互(HCI)领域引起了广泛关注。此类系统可以针对对话中关于解释的问题提供答案,具有潜在增强用户理解并提供有关 LLM 决策和生成过程的更多信息。当前可用的 ConvXAI 系统基于意图识别而非自由聊天,因为后者在识别用户意图方面被发现更精确可靠。然而,意图识别在 ConvXAI 中仍然是一个挑战,因为几乎没有训练数据可用且领域高度特定,因为需要将请求映射到各种 XAI 方法上。在弥合这一差距的过程中,我们提出了 CoXQL,这是 NLP 领域首个用于 ConvXAI 中用户意图识别的数据集,涵盖 31 种意图,其中 7 种需要填充多个槑位。随后,我们通过纳入模板验证,改进了一个现有的解析方法,并针对 CoXQL 对几种 LLM 进行了评估,采用不同的解析策略。我们得出结论,改进后的解析方法(MP+)优于以往方法。我们还发现,具有多个槑位的意图对 LLM 来说仍然具有高度挑战性。
引用
@article{arxiv.2406.08101,
title = {CoXQL: A Dataset for Parsing Explanation Requests in Conversational XAI Systems},
author = {Qianli Wang and Tatiana Anikina and Nils Feldhus and Simon Ostermann and Sebastian Möller},
journal= {arXiv preprint arXiv:2406.08101},
year = {2024}
}
备注
EMNLP 2024 Findings (short paper); camera-ready version