Explain-Query-Test：基于解释与理解偏差的自评估大语言模型
计算与语言
2025-03-11 v2 机器学习
摘要
大语言模型（LLM）已显示出在生成复杂概念的详细且连贯解释方面的显著能力。然而，这些模型所表达概念的真实理解程度尚不明确。为评估模型相对于其生成内容的理解水平，我们实现了一条自评估管道，其中模型：（i）给定主题生成包含相关信息的摘要段落，（ii）给定摘要段落生成问答对，最后（iii）给定问题生成答案。我们将这种自评估方法称为Explain-Query-Test（EQT）。有趣的是，EQT管道生成问题的准确率与模型在诸如MMLU-Pro等典型基准测试中的表现密切相关。换言之，EQT的表现能预测MMLU-Pro的结果，EQT可用于在无需外部评估数据（仅限感兴趣主题列表）的情况下对模型进行排序。此外，我们的结果揭示了模型生成详细解释能力与针对这些解释问题的表现之间存在差距。这一差距凸显了当前大语言模型内部知识表征和推理能力的根本性局限。我们已在https://github.com/asgsaeid/EQT上发布代码。
引用
@article{arxiv.2501.11721,
title = {Explain-Query-Test: Self-Evaluating LLMs Via Explanation and Comprehension Discrepancy},
author = {Saeid Asgari Taghanaki and Joao Monteiro},
journal= {arXiv preprint arXiv:2501.11721},
year = {2025}
}
备注
Accepted to ICLR 2025, SSI-FM