KnowledgeVIS：通过比较填空提示解释语言模型
人机交互
2024-03-08 v1 人工智能
计算机与社会
机器学习
摘要
大型语言模型近期日益普及，导致其在总结、预测和生成文本方面的使用增加，这使得帮助研究人员和工程师理解它们的工作原理和原因变得至关重要。我们提出了 KnowledgeVis，这是一个人在环的可视化分析系统，使用填空句子作为提示来解释语言模型。通过比较句子之间的预测，KnowledgeVis 揭示了直观地将语言模型在训练期间学到的内容与下游自然语言任务联系起来的学习关联，帮助用户创建和测试多种提示变体，使用新颖的语义聚类技术分析预测词，并通过交互式可视化发现见解。这些可视化共同帮助用户识别单个预测的可能性和唯一性，比较提示之间的预测集合，并总结所有提示中预测的模式和关系。我们通过六位 NLP 专家的反馈以及三个不同的用例展示了 KnowledgeVis 的能力：(1) 在两个领域适应模型中探测生物医学知识；(2) 评估有害身份刻板印象；以及 (3) 发现三个通用模型之间的事实和关系。
引用
@article{arxiv.2403.04758,
title = {KnowledgeVIS: Interpreting Language Models by Comparing Fill-in-the-Blank Prompts},
author = {Adam Coscia and Alex Endert},
journal= {arXiv preprint arXiv:2403.04758},
year = {2024}
}
备注
Accepted to IEEE TVCG. 20 pages, 10 figures, 1 table. For a demo video, see https://youtu.be/hBX4rSUMr_I . For a live demo, visit https://adamcoscia.com/papers/knowledgevis/demo/ . The source code is available at https://github.com/AdamCoscia/KnowledgeVIS