通过范畴论加速机器学习系统：在基因调控网络球面注意力机制中的应用
范畴论
2025-05-15 v1 机器学习
分子网络
摘要
我们如何使人工智能模型自我改进？这对于指数级改进通用人工智能模型至关重要，这些模型能够改进自身架构以利用最新硬件高效地处理新问题领域。然而，当前的自动编译方法效果不佳，且高效算法需要数年的人工开发。在本文中，我们使用基于范畴论的神经电路图，证明了与深度学习算法相关的一般定理，指导了针对基因调控网络领域定制的新颖注意力算法的开发，并生成了相应的高效内核。我们提出的算法，即球面注意力机制，表明神经电路图提供了一种有原则且系统的方法，用于推理深度学习架构并提供高性能代码。通过按照图表的建议将 SoftMax 替换为 范数，它克服了标准注意力的特殊函数单元瓶颈，同时保留了高性能所必需的流式特性。我们通过图解推导出的 \textit{FlashSign} 内核在 A100 上实现了与 state-of-the-art、微调过的 FlashAttention 算法相当的性能，并且是 PyTorch 性能的 倍。总体而言，这项研究表明神经电路图适合作为自动开发高效、新颖人工智能架构的高级框架。
引用
@article{arxiv.2505.09326,
title = {Accelerating Machine Learning Systems via Category Theory: Applications to Spherical Attention for Gene Regulatory Networks},
author = {Vincent Abbott and Kotaro Kamiya and Gerard Glowacki and Yu Atsumi and Gioele Zardini and Yoshihiro Maruyama},
journal= {arXiv preprint arXiv:2505.09326},
year = {2025}
}