面向生成式 AI 与大语言模型的拓扑斯理论

我们提出利用拓扑斯理论（一种“类集合”的范畴：一个拓扑斯具有所有（余）极限，是笛卡尔闭的，并具有子对象分类器）来设计新颖的范畴生成式 AI 架构（GAIAs）。先前关于 Transformer 模型的理论结果表明，它是一个通用的序列到序列函数逼近器，并且在嵌入标记的欧几里得空间上具有紧支撑的所有连续函数空间中稠密。基于这一理论结果，我们探索了利用大语言模型范畴（视为函数）构成一个拓扑斯这一性质的新颖大语言模型架构。以往对大语言模型的研究主要集中在菊花链式线性架构或混合专家模型上。在本文中，我们使用范畴论中的泛构造，基于新型的组合结构来构建新颖的大语言模型架构。特别地，这些新的组合结构源自大语言模型范畴的泛性质，包括拉回、推出、（余）等化子、指数对象和子对象分类器。我们通过证明大语言模型范畴是（余）完备的，即所有图表都有以（余）极限形式存在的解，从理论上验证了这些新组合结构。基于这一完备性结果，我们进一步证明大语言模型范畴构成一个拓扑斯，即一个“类集合”的范畴，这需要证明指数对象和子对象分类器的存在性。我们使用反向传播的函子化描述来定义大语言模型拓扑斯架构的一种潜在实现。