连接链网络：从逻辑推理视角看Transformer中的多头注意力
计算与语言
2022-10-25 v3 机器学习
摘要
开发能够进行逻辑推理的神经架构对于广泛应用（例如自然语言处理）已变得愈发重要。朝向这一宏大目标，我们提出了一种符号推理架构，其将许多连接（join）算子链式组合以建模输出逻辑表达式。特别地，我们证明这种连接链的集合能够表达一类广泛的“树结构”一阶逻辑表达式（称为FOET），其尤其有助于建模自然语言。为赋予其可微学习能力，我们仔细考察了用于近似符号连接链的各种神经算子。有趣的是，我们发现Transformer中广泛使用的多头自注意力模块可理解为一种特殊的神经算子，其在概率谓词空间中实现了连接算子的联合界。我们的分析不仅为理解BERT等用于自然语言理解的预训练模型的机制提供了新视角，也指出了若干重要的未来改进方向。
引用
@article{arxiv.2210.02729,
title = {Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer},
author = {Jianyi Zhang and Yiran Chen and Jianshu Chen},
journal= {arXiv preprint arXiv:2210.02729},
year = {2022}
}
备注
Accepted by 2022 IEEE International Conference on Data Mining (ICDM 2022) Workshop on Foundation Models for Vision and Language