谱 reservoir 计算作为语言模型

大型语言模型 (LLM) 凭借在处理大规模数据和生成类人文本方面的卓越表现，主导了科学和媒体领域。然而，其巨大的能源需求和慢速处理速度仍是提升质量并让模型普及给每个人的瓶颈。为解决这一瓶颈，我们将探讨谷仓计算在自然文本处理中的性能，这可能实现快速且高效的硬件实现。关于将谷仓计算用作语言模型的研究仍寥寥无几。本文比较了三种不同的字符级语言建模方法：两种不同的 **谷仓计算** 方法，其中只有输出层可训练，以及广为人知的 **transformer** 架构，这些架构完全学习注意力序列表示。我们通过在所有模型中均匀变化可训练参数的数量，探索了两种范式的性能、计算成本和预测准确度。使用一致的管线对所有三种方法进行测试，表明 transformer 在预测质量方面占据优势，而谷仓计算机在减少训练和推理速度方面仍然高度有效。此外，我们研究了两种类型的谷仓计算：一种是带有静态线性读取器的 **传统谷仓**，另一种是通过注意力机制动态调整其输出权重的 **注意力增强型谷仓**。我们的发现阐明了这些范式的规模，并为在资源约束与性能之间取得平衡提供了指导方针。