Transformer 层的神经 ODE 解释
机器学习
2022-12-13 v1 人工智能
摘要
Transformer 层采用多头注意力与多层感知机(MLP)层交替的模式,为各类机器学习问题提供了有效工具。由于 Transformer 层使用残差连接以避免梯度消失问题,它们可被视为微分方程数值积分。在本扩展摘要中,我们基于该联系提出对 Transformer 层内部架构的修改。所提模型将多头注意力子层与 MLP 子层彼此并行放置。我们的实验表明,这一简单修改在多项任务中提升了 Transformer 网络性能。此外,对于图像分类任务,我们展示使用具有复杂积分方案的神经 ODE 求解器可进一步提升性能。
引用
@article{arxiv.2212.06011,
title = {A Neural ODE Interpretation of Transformer Layers},
author = {Yaofeng Desmond Zhong and Tongtao Zhang and Amit Chakraborty and Biswadip Dey},
journal= {arXiv preprint arXiv:2212.06011},
year = {2022}
}