LOLAMEME：逻辑、语言、记忆、机械框架
机器学习
2024-06-06 v1 人工智能
计算与语言
摘要
大型语言模型的性能以前所未有的广度和深度取得了超人类的表现。同时，语言模型大多是黑盒模型，其性能背后的机制还通过合成或机械方案进行评估。我们扩展当前的机械方案，纳入逻辑、记忆以及语言中的细微差别，如潜在结构。我们提出的框架称为 LOLAMEME，我们提供了 LOLAMEME 的两个实例：LoLa 和 MeMe 语言。随后，我们考虑两种生成式语言模型架构：基于转换器的 GPT-2 和基于卷积的 Hyena。我们提出了混合架构 T HEX，并使用 LOLAMEME 框架对三个架构进行比较。T HEX 在选定任务上优于 GPT-2 和 Hyena。
引用
@article{arxiv.2406.02592,
title = {LOLAMEME: Logic, Language, Memory, Mechanistic Framework},
author = {Jay Desai and Xiaobo Guo and Srinivasan H. Sengamedu},
journal= {arXiv preprint arXiv:2406.02592},
year = {2024}
}
备注
https://openreview.net/pdf?id=73dhbcXxtV