平均硬注意力 Transformer 是常深度一致阈值电路
计算与语言
2023-08-23 v2 计算复杂性
机器学习
摘要
Transformer 已成为各种自然语言处理任务中广泛使用的神经网络模型。先前的研究探讨了它们与常深度阈值电路的关系，并做了两个假设：平均硬注意力（average-hard attention）以及相对于输入长度的内部计算对数精度。Merrill 等人（2022）证明，平均硬注意力 Transformer 所识别的语言属于复杂度类 TC0，即可以由常深度多项式规模阈值电路识别的语言集合。同样，Merrill 和 Sabharwal（2023）表明，对数精度 Transformer 识别的语言属于一致 TC0（uniform TC0）类。这表明两类 Transformer 模型均可由常深度阈值电路模拟，后者因生成一致电路族而更具鲁棒性。本文证明，前者的结果也可推广至生成一致电路族。
引用
@article{arxiv.2308.03212,
title = {Average-Hard Attention Transformers are Constant-Depth Uniform Threshold Circuits},
author = {Lena Strobl},
journal= {arXiv preprint arXiv:2308.03212},
year = {2023}
}