基于大语言与多模态模型的可解释预测变分信息追踪方法
机器学习
2023-08-25 v1 机器学习
摘要
变分信息追踪（V-IP）是一种通过依次选择关于数据的一小串任务相关、用户定义且可解释的查询（这些查询对任务最具信息量）来天生实现可解释预测的框架。尽管这允许在预测模型中内置可解释性，但将 V-IP 应用于任何任务都需要由领域专家进行密集概念标注的数据样本，从而将 V-IP 的应用限制在人工数据标注可行的小规模任务上。在这项工作中，我们用基础模型（FMs）扩展 V-IP 框架以克服这一限制。更具体地说，我们采用两步过程：首先利用大语言模型（LLMs）生成足够大的任务相关可解释候选概念集，然后使用大型多模态模型通过与被生成概念集中每个概念的语义相似度来标注每个数据样本。虽然其他天生可解释的框架（如概念瓶颈模型（CBMs））需要额外的去除重复和非判别性概念的步骤以获得良好的可解释性和测试性能，但我们从数学上和经验上证明，在具有充分信息量和任务相关的查询（概念）集时，所提出的 FM+V-IP 方法不需要任何类型的概念过滤。此外，我们表明，使用 LLM 生成概念的 FM+V-IP 可以比使用人类标注概念的 V-IP 取得更好的测试性能，展示了 LLM 在生成高效查询集方面的有效性。最后，与其他天生可解释的框架（如 CBMs）相比，FM+V-IP 在使用更少数量的概念/查询的情况下，无论是在过滤还是未过滤概念集的情形中，都能取得有竞争力的测试性能。
引用
@article{arxiv.2308.12562,
title = {Variational Information Pursuit with Large Language and Multimodal Models for Interpretable Predictions},
author = {Kwan Ho Ryan Chan and Aditya Chattopadhyay and Benjamin David Haeffele and Rene Vidal},
journal= {arXiv preprint arXiv:2308.12562},
year = {2023}
}