小型Transformer中加法的任意长度泛化
机器学习
2024-06-13 v2 应用统计
机器学习
摘要
本文介绍了一种新颖的训练方法，使Transformer模型能够将两位数的加法泛化到具有未见过的数字位数的数字。所提出的方法采用自回归生成技术，从右向左处理，模拟了手动相加大数的常用方法。据我所知，该方法此前在文献中尚未被探索。所有结果均可复现，相应的R代码可在github.com/AGPatriota/ALGA-R/获取。
引用
@article{arxiv.2406.00075,
title = {Arbitrary-Length Generalization for Addition in a Tiny Transformer},
author = {Alexandre Galvao Patriota},
journal= {arXiv preprint arXiv:2406.00075},
year = {2024}
}
备注
Testing-Digits.R output with 50-digit numbers (8 pages, 1 figure)