用于奇偶性判断的完全均匀 Transformer
机器学习
2025-01-07 v1 人工智能
摘要
我们构建了一个识别奇偶性语言的3层常维 Transformer，其参数矩阵和位置编码均不依赖于输入长度。这改进了 Chiang 和 Cholak 的构造，后者使用了依赖于输入长度的位置编码（但其构造仅有2层）。
关键词
引用
@article{arxiv.2501.02535,
title = {A completely uniform transformer for parity},
author = {Alexander Kozachinskiy and Tomasz Steifer},
journal= {arXiv preprint arXiv:2501.02535},
year = {2025}
}
备注
4 pages