Transformer通过秩的渐进增长进行学习
机器学习
2023-12-12 v2
摘要
我们识别了Transformer中的增量学习动态，其中训练后权重与初始权重之间的差异在秩上逐步增加。我们在对角权重矩阵和小初始化的简化假设下严格证明了这一现象的发生。我们的实验支持了该理论，并表明该现象可在无上述简化假设的实际情形中出现。
关键词
引用
@article{arxiv.2306.07042,
title = {Transformers learn through gradual rank increase},
author = {Enric Boix-Adsera and Etai Littwin and Emmanuel Abbe and Samy Bengio and Joshua Susskind},
journal= {arXiv preprint arXiv:2306.07042},
year = {2023}
}
备注
39 pages, to appear in NeurIPS 2023