Explingo：使用大语言模型解释 AI 预测
计算与语言
2024-12-09 v1 人工智能
机器学习
摘要
机器学习 (ML) 模型预测的解释是由 SHAP 等解释性 AI (XAI) 技术生成的，这对于使用 ML 输出进行决策的人至关重要。我们探讨了大语言模型 (LLM) 将这些解释转化为符合自然通信习惯的人类可读叙述格式的潜力。为回答这两个关键研究问题：（1）LLM 能否可靠地将传统解释转化为高质量叙述？（2）如何有效评估叙述解释的质量？我们引入 Explingo，其包含两个 LLM 子系统，叙述者和评估者。叙述者接收 ML 解释并将其转化为自然语言描述。评估者根据包括准确性、完整性、流畅性和简洁性在内的一组指标对这些叙述进行评分。我们的实验表明，LLM 能够生成高质量的叙述，在所有指标上都取得高分，特别是当引导少量人工标注和自助示例时。我们还确定了在复杂领域中对叙述进行评估仍具有挑战性的领域。本工作的发现已集成到一个开源工具中，可进一步应用于提供叙述解释。
引用
@article{arxiv.2412.05145,
title = {Explingo: Explaining AI Predictions using Large Language Models},
author = {Alexandra Zytek and Sara Pido and Sarah Alnegheimish and Laure Berti-Equille and Kalyan Veeramachaneni},
journal= {arXiv preprint arXiv:2412.05145},
year = {2024}
}
备注
To be presented in the 2024 IEEE International Conference on Big Data (IEEE BigData)