面向视觉 Transformer 的注意力引导稀疏表示中的符号规则提取
计算机视觉与模式识别
2026-01-14 v1 人工智能
摘要
最近的神经符号方法成功地从基于 CNN 的模型中提取符号规则集，以增强可解释性。然而，将类似技术应用于视觉 Transformer (ViT) 仍具有挑战性，因为它们缺乏模块化的概念检测器并依赖于全局自注意力机制。我们提出一种从 ViT 中提取符号规则的框架，通过引入受稀疏自动编码器 (SAE) 启发的稀疏概念层。该线性层作用于注意力加权的 patch 表示，并学习一种解耦且二值化的表示，其中单个神经元针对高层视觉概念激活。为鼓励可解释性，我们应用 L1 稀疏性、熵最小化和监督对比损失的组合。这些二值化概念激活用作输入到 FOLD-SE-M 算法，后者生成形式为逻辑程序的规则集。我们的方法在标准 ViT 的分类准确率上提高了 5.14%，同时实现了符号推理。关键的是，提取的规则集不仅是事后解释，而是作为直接作用于稀疏概念表示上的基于逻辑的决策层。 resulting 程序简洁且在语义上具有意义。这项工作首次利用稀疏符号表示从 ViT 中提取可执行逻辑程序。它弥合了基于 Transformer 的视觉模型与符号逻辑编程之间的鸿沟，为可解释和可验证的神经符号 AI 迈出了一步。
引用
@article{arxiv.2505.06745,
title = {Symbolic Rule Extraction from Attention-Guided Sparse Representations in Vision Transformers},
author = {Parth Padalkar and Gopal Gupta},
journal= {arXiv preprint arXiv:2505.06745},
year = {2026}
}