PIDformer：Transformer 与控制理论的融合
人工智能
2024-02-27 v1 系统与控制
系统与控制
摘要
在本工作中，我们解决了 Transformer 架构的两个主要缺陷：输入污染及其输出表示中的秩坍塌（rank collapse）。我们将自注意力机制揭示为一种自主的状态空间模型，该模型固有地促进解的平滑性，从而导致更低秩的输出和减弱的表示能力。此外，该模型的稳态解对输入扰动敏感。我们在模型中引入了一个带有参考点的比例 - 积分 - 微分（PID）闭环反馈控制系统，以提高鲁棒性和表示能力。这种集成旨在保留高频细节，同时增强模型稳定性，使其更具抗噪性。理论上证明了所得的受控状态空间模型具有鲁棒性，并能够有效解决秩坍塌问题。受此控制框架的启发，我们推导出一类新型 Transformer，即 PID 控制 Transformer（PIDformer），旨在提高鲁棒性并缓解 softmax Transformer 固有的秩坍塌问题。我们在物体分类、图像分割和语言建模等各种实际任务中，对模型进行了实证评估，验证了其相对于基线 Transformer 的优势和鲁棒性。
引用
@article{arxiv.2402.15989,
title = {PIDformer: Transformer Meets Control Theory},
author = {Tam Nguyen and César A. Uribe and Tan M. Nguyen and Richard G. Baraniuk},
journal= {arXiv preprint arXiv:2402.15989},
year = {2024}
}