指数族注意力

自注意力机制是Transformer神经网络的核心，支撑着大多数大语言模型。它能够捕捉自然语言中复杂的词汇模式和长程依赖关系。本文引入指数族注意力（EFA），一种概率生成模型，将自注意力扩展用于处理混合数据类型的高维序列、空间或时空数据，包括离散和连续观测值。EFA的关键思想是对每个观测值在给定所有其他现有观测值（即上下文）的条件下建模，其相关性通过基于注意力的潜在因子模型在数据驱动方式下学习。在此基础上，与静态潜在嵌入不同，EFA使用自注意力机制捕捉上下文中的动态相互作用，其中每个上下文观测值的相关性取决于其他观测值。我们对EFA提出了可辨识性结果，并为其 excess loss 提供了泛化保证。 across real-world and synthetic data sets -- including U.S. city temperatures, Instacart shopping baskets, and MovieLens ratings -- we find that EFA consistently outperforms existing models in capturing complex latent structures and reconstructing held-out data. 我们在真实数据集和合成数据集——包括美国城市气温、Instacart购物篮以及MovieLens评分——中发现，EFA在捕捉复杂潜在结构和重建保留数据方面始终优于现有模型。