变压器可证明学习稀疏标记选择，而全连接网络无法做到
机器学习
2024-06-12 v1 信息论
机器学习
math.IT
摘要
变压器架构由于其在各种深度学习场景中选择和组合结构信息的卓越能力，迎来了广泛应用。为了利用这些能力，Sanford 等人提出了稀疏标记选择任务，其中变压器表现出色，而全连接网络（FCN）在最坏情况下会失败。基于此，我们将 FCN 的下界从最坏情况推广到平均情况，确立变压器相对于全连接网络的算法分离。具体而言，使用梯度下降训练的单层变压器可证明地学习稀疏标记选择任务，并令人惊讶地表现出强大的超出分布长度泛化能力。我们提供了经验仿真以证明我们的理论发现。
引用
@article{arxiv.2406.06893,
title = {Transformers Provably Learn Sparse Token Selection While Fully-Connected Nets Cannot},
author = {Zixuan Wang and Stanley Wei and Daniel Hsu and Jason D. Lee},
journal= {arXiv preprint arXiv:2406.06893},
year = {2024}
}