Transformer 编码器表达能力的更紧界
机器学习
2023-11-14 v3 形式语言与自动机理论
计算机科学中的逻辑
摘要
用更易理解的形式系统刻画神经网络，有可能对这些网络的能力与局限产生新的见解。对 transformer 进行此类刻画仍是一个活跃的研究领域。Bhattamishra 等人已证明 transformer 编码器至少与某类计数器机一样具有表达能力，而 Merrill 和 Sabharwal 已证明定精度 transformer 编码器仅能识别 uniform TC^0 中的语言。我们通过确定一个带计数量词的一阶逻辑变体来联系并加强这些结果，该变体同时是定精度 transformer 编码器的上界和 transformer 编码器的下界。这使我们比以前更接近对 transformer 编码器所识别语言的精确刻画。
引用
@article{arxiv.2301.10743,
title = {Tighter Bounds on the Expressivity of Transformer Encoders},
author = {David Chiang and Peter Cholak and Anand Pillay},
journal= {arXiv preprint arXiv:2301.10743},
year = {2023}
}
备注
Presented at ICML 2023. Typo corrections in Appendix B and Section 8.1