FastRM：面向多模态生成模型的高效自动化可解释性框架
人工智能
2025-05-07 v4
摘要
大型视觉语言模型（LVLMs）在处理文本和视觉输入方面展现出惊人的推理能力。然而，这些模型仍容易生成错误信息。识别并抑制无依据的响应对于开发可信赖的 AI 系统至关重要。传统的可解释性方法，如基于梯度的相关性图，虽能提供模型决策过程的洞见，但往往计算昂贵，难以用于实时输出验证。本文引入 FastRM，一种用于预测 LVLMs 可解释相关性图的高效方法。此外，FastRM 提供模型置信度的定量和定性评估。实验结果表明，与传统相关性图生成方法相比，FastRM 在计算时间上实现了 99.8% 的降低，在内存占用上实现了 44.4% 的降低。FastRM 使可解释 AI 更加实用和可扩展，从而促进其在实际应用中的部署，使用户能够更有效地评估模型输出的可靠性。
引用
@article{arxiv.2412.01487,
title = {FastRM: An efficient and automatic explainability framework for multimodal generative models},
author = {Gabriela Ben-Melech Stan and Estelle Aflalo and Man Luo and Shachar Rosenman and Tiep Le and Sayak Paul and Shao-Yen Tseng and Vasudev Lal},
journal= {arXiv preprint arXiv:2412.01487},
year = {2025}
}