LLMCheckup: 通过可解释性工具和自解释对大型语言模型进行对话式检查
计算与语言
2024-04-25 v2 人工智能
机器学习
摘要
以对话形式提供解释的可解释性工具已被证明能有效增强用户的理解 (Slack et al., 2023; Shen et al., 2023)，因为一次性解释可能无法为用户提供足够的信息。然而，当前基于对话的解释解决方案通常需要外部工具和模块，并且不易迁移到它们未设计的任务。通过 LLMCheckup，我们提供了一个易于访问的工具，允许用户与任何最先进的大型语言模型 (LLM) 就其行为进行聊天。我们通过将 LLM 与广泛的可解释人工智能 (XAI) 方法（包括白盒可解释性工具，如特征归因，以及自解释（例如，用于原理生成））连接起来，使 LLM 能够生成解释并执行用户意图识别，而无需微调。基于 LLM 的（自）解释以交互式对话的形式呈现，支持后续问题并生成建议。LLMCheckup 提供系统中可用操作的教程，满足 XAI 方面不同专业水平的个人需求，并支持多种输入模态。我们引入了一种新的解析策略，该策略显著提高了 LLM 的用户意图识别准确性。最后，我们展示了 LLMCheckup 在事实核查和常识问答任务中的应用。
引用
@article{arxiv.2401.12576,
title = {LLMCheckup: Conversational Examination of Large Language Models via Interpretability Tools and Self-Explanations},
author = {Qianli Wang and Tatiana Anikina and Nils Feldhus and Josef van Genabith and Leonhard Hennig and Sebastian Möller},
journal= {arXiv preprint arXiv:2401.12576},
year = {2024}
}
备注
Accepted to NAACL 2024 HCI+NLP workshop; camera-ready version