面向变换器的集成光电注意力非线性
机器学习
2026-04-13 v1 光学
摘要
变换器已成为语言处理和计算机视觉中取得最先进性能的主导神经网络架构。其核心在于注意力机制，需要使用 Softmax 函数实现非线性、非负映射。然而，尽管 Softmax 操作占总操作计数的 less than 1%，但可能在整体推理延迟中产生不成比例的瓶颈。我们使用薄膜锂硅酸盐（TFLN）马赫-温德ner 调制器（MZM）作为模拟非线性计算单元，大幅降低非线性计算的延迟。我们实现了针对数字 Softmax 和 Sigmoid 的光电替代方案，并在视觉变换器和大型语言模型中评估其性能。我们的系统即使在激进的 4 位输入输出量化模拟单元下，仍保持高度具竞争力的准确性。我们进一步在编码速度达 10 GBaud 时表征系统噪声，并评估在各种噪声条件下的模型鲁棒性。我们的发现表明，TFLN 调制器可作为混合封装硬件中的非线性函数单元，实现高速且高效的非线性计算。
关键词
引用
@article{arxiv.2604.09512,
title = {Integrated electro-optic attention nonlinearities for transformers},
author = {Luis Mickeler and Kai Lion and Alfonso Nardi and Jost Kellner and Pierre Didier and Bhavin J. Shastri and Niao He and Rachel Grange},
journal= {arXiv preprint arXiv:2604.09512},
year = {2026}
}