通过其可识别形式语言比较不同唯一硬注意力Transformer模型
机器学习
2025-06-05 v1 计算与语言
形式语言与自动机理论
摘要
本文综述了唯一硬注意力Transformer编码器（UHATs）识别形式语言能力的各类结果。我们区分了掩码与非掩码、有限与无限图像，以及一般与双线性注意力得分函数。我们回顾了这些模型之间的一些关系，以及在一阶逻辑方面的下界和在电路复杂度方面的上界。
引用
@article{arxiv.2506.03370,
title = {Comparison of different Unique hard attention transformer models by the formal languages they can recognize},
author = {Leonid Ryvkin},
journal= {arXiv preprint arXiv:2506.03370},
year = {2025}
}