AtMan：通过内存高效的注意力操纵理解Transformer预测
机器学习
2025-01-08 v6 人工智能
摘要
生成式Transformer模型日趋复杂，参数量巨大且能处理多种输入模态。当前解释其预测的方法资源消耗高。最关键的是，它们需要极高的额外内存，因为依赖反向传播，其GPU内存分配几乎达前向传播的两倍。这使得它们难以乃至无法用于生产环境。我们提出AtMan，以几乎零额外代价提供生成式Transformer模型的解释。具体而言，AtMan是一种模态无关的扰动方法，通过操纵Transformer的注意力机制，针对输出预测生成输入的相关性图。AtMan不使用反向传播，而是采用基于嵌入空间中余弦相似邻域的可并行基于词元的搜索方法。我们在文本与图文基准上的详尽实验表明，AtMan在多项指标上优于当前最优的基于梯度的方法，且计算高效。因此，AtMan适用于大模型推理部署。
引用
@article{arxiv.2301.08110,
title = {AtMan: Understanding Transformer Predictions Through Memory Efficient Attention Manipulation},
author = {Björn Deiseroth and Mayukh Deb and Samuel Weinbach and Manuel Brack and Patrick Schramowski and Kristian Kersting},
journal= {arXiv preprint arXiv:2301.08110},
year = {2025}
}