可解释的基于 LLM 的表格问答
计算与语言
2025-07-01 v3 机器学习
摘要
表格问答（Table QA）中的可解释性至关重要，尤其是在金融和医疗保健等高风险领域。尽管近期基于大语言模型（LLM）的 Table QA 方法取得了很高的准确率，但它们往往对答案的推导过程给出含糊的解释。我们提出了 Plan-of-SQLs（POS），一种新的 Table QA 方法，使模型的决策过程具有可解释性。POS 将一个问题分解为一系列原子步骤，每个步骤直接转化为针对表格的可执行 SQL 命令，从而确保每个中间结果都是透明的。通过广泛的实验，我们表明：首先，POS 在所比较的方法中生成了最高质量的解释，这显著提高了用户模拟和验证模型决策的能力。其次，在标准 Table QA 基准测试（TabFact、WikiTQ 和 FeTaQA）上进行评估时，POS 实现了与现有方法相媲美的 QA 准确率，同时提供了更高的效率——所需的 LLM 调用和表数据库查询显著减少（最多减少 25 倍）——并且在大型表格上具有更稳健的性能。最后，我们观察到，当基于相同的解释做出决策时，LLM 与人类用户之间具有高度一致性（正向模拟中高达 90.59%），这表明 LLM 可以作为人类评估 Table QA 解释的有效代理。
引用
@article{arxiv.2412.12386,
title = {Interpretable LLM-based Table Question Answering},
author = {Giang Nguyen and Ivan Brugere and Shubham Sharma and Sanjay Kariyappa and Anh Totti Nguyen and Freddy Lecue},
journal= {arXiv preprint arXiv:2412.12386},
year = {2025}
}
备注
Published in Transactions on Machine Learning Research (TMLR) in 06/2025. Reviews at: https://openreview.net/forum?id=2eTsZBoU2W