信念与命运：Transformer 在组合性上的局限
计算与语言
2023-11-01 v3 人工智能
机器学习
摘要
Transformer 大语言模型（LLM）因在需要复杂多步推理的任务上表现卓越而令人赞叹。然而，这些模型同时在令人惊讶的平凡问题上出现失败。这引出一个问题：这些错误是偶然的，还是标志着更实质性的局限？为试图揭开 Transformer LLM 的神秘面纱，我们考察了这些模型在三个代表性组合任务上的极限——多位数乘法、逻辑网格谜题以及经典动态规划问题。这些任务要求将问题分解为子步骤并综合这些步骤以得出精确答案。我们将组合任务表述为计算图，以系统量化复杂度水平，并将推理步骤拆解为中间子过程。我们的经验发现表明，Transformer LLM 通过将多步组合推理化简为线性化子图匹配来解决组合任务，而不一定发展出系统性问题解决能力。为完善我们的实证研究，我们就抽象多步推理问题提供理论论证，突出自回归生成性能如何随任务复杂度增加而快速衰减。
引用
@article{arxiv.2305.18654,
title = {Faith and Fate: Limits of Transformers on Compositionality},
author = {Nouha Dziri and Ximing Lu and Melanie Sclar and Xiang Lorraine Li and Liwei Jiang and Bill Yuchen Lin and Peter West and Chandra Bhagavatula and Ronan Le Bras and Jena D. Hwang and Soumya Sanyal and Sean Welleck and Xiang Ren and Allyson Ettinger and Zaid Harchaoui and Yejin Choi},
journal= {arXiv preprint arXiv:2305.18654},
year = {2023}
}
备注
10 pages + appendix (40 pages)