LatentExplainer：利用多模态大语言模型解释深层生成模型中的潜在表示
机器学习
2025-12-22 v8 计算与语言
计算机视觉与模式识别
摘要
深度生成模型，如变分自编码器（VAEs）和扩散模型，通过利用潜在变量学习数据分布并生成高质量样本，已推动了 various generation tasks 的发展。尽管可解释人工智能领域在解释机器学习模型方面取得了进展，但对生成模型中潜在变量的理解仍具有挑战性。本文介绍 LatentExplainer，一个用于自动生成深层生成模型潜在变量语义意义解释的框架。LatentExplainer 解决了三个主要挑战：推断潜在变量的含义、对齐解释与归纳偏置之间的关系以及处理不同解释难度程度。我们的 method 通过扰动潜在变量、解释生成数据中的变化，并使用多模态大语言模型（MLLMs）生成易于人类理解的解释。我们在多个真实数据集和合成数据集上对所提出的方法进行评估，结果表明在生成潜在变量的高质量解释方面表现优异。结果凸显了整合归纳偏置和不确定性量化的重要性，显著提升了模型的可解释性。
引用
@article{arxiv.2406.14862,
title = {LatentExplainer: Explaining Latent Representations in Deep Generative Models with Multimodal Large Language Models},
author = {Mengdan Zhu and Raasikh Kanjiani and Jiahui Lu and Andrew Choi and Qirui Ye and Liang Zhao},
journal= {arXiv preprint arXiv:2406.14862},
year = {2025}
}
备注
Accepted to CIKM 2025 Full Research Track