通过自笔记学习推理与记忆
机器学习
2023-11-01 v2 人工智能
计算与语言
摘要
大型语言模型已被表明难以进行多步推理，且不能保留先前的推理步骤以供未来使用。我们提出一种简单方法，通过允许模型采用自笔记（Self-Notes）来解决这两个问题。与近期的思维链或草稿本方法不同，模型可随时偏离输入上下文，显式地思考并写下其想法。这使得模型能在读取上下文时即时推理，甚至整合先前的推理步骤，从而以有用信息增强其记忆并启用多步推理。跨越广泛任务种类的实验表明，我们的方法可通过采取与输入文本交织的自笔记，优于思维链与草稿本方法。
引用
@article{arxiv.2305.00833,
title = {Learning to Reason and Memorize with Self-Notes},
author = {Jack Lanchantin and Shubham Toshniwal and Jason Weston and Arthur Szlam and Sainbayar Sukhbaatar},
journal= {arXiv preprint arXiv:2305.00833},
year = {2023}
}