多模态分析的因果交叉性与梯度下降的对偶形式：以仇恨模因为例

在机器学习（ML）与大语言模型（LLMs）迅速扩张之际，理解其机制内的语义至关重要。因果分析定义语义，而基于梯度的方法对可解释人工智能（XAI）不可或缺，用于解释模型的“黑箱”。将二者结合，我们探究模型机制如何揭示其对基于证据的决策的因果效应。研究表明，交叉性——即个体人口统计特征的综合影响——可被框定为平均处理效应（ATE）。本文证明仇恨模因检测可视为利用交叉性原理的 ATE 估计，且汇总基于梯度的注意力分数凸显了三个 Transformer 模型的显著差异行为。我们进一步揭示，LLM Llama-2 可通过上下文学习辨别检测的交叉性方面，且该学习过程可通过元梯度（梯度的次级形式）加以解释。总之，本工作推进了关于因果性与 XAI 的讨论。我们的代码已在线提供（见外部资源部分）。