从大型语言模型生成带影响估计的数据描述
人工智能
2025-11-12 v1 机器学习
摘要
深度学习模型在诸多领域取得成功，但我们仍难以理解其行为。大多数先前的可解释人工智能（XAI）方法专注于解释和说明模型如何做出预测。相反，我们希望理解数据如何通过深度学习模型训练进行解释，并提出一种新方法，通过一种常见的媒介——语言来理解数据，以便人类能够轻松理解。我们的方法提出了一个管道，通过整合外部知识库来生成可以解释数据的文本描述。然而，生成的数据描述可能仍包含无关信息，因此我们引入影响估计来选择最具信息性的文本描述，同时包括 CLIP 分数。此外，基于跨模态可转移性现象，我们提出了一种新型基准任务，称为跨模态转移分类，以检验我们文本描述的有效性。在零样本设置下的实验中，我们展示了我们的文本描述比其他基线描述更有效，并且我们成功地提升了仅用图像训练的模型在所有九个图像分类数据集上的性能。这些结果通过 GPT-4o 进行评估得到进一步支持。通过我们的方法，我们可能获得有关模型决策过程内在可解释性的见解。
引用
@article{arxiv.2511.07897,
title = {Data Descriptions from Large Language Models with Influence Estimation},
author = {Chaeri Kim and Jaeyeon Bae and Taehwan Kim},
journal= {arXiv preprint arXiv:2511.07897},
year = {2025}
}