MoT：思想记忆使 ChatGPT 能够自我提升
计算与语言
2023-10-10 v2 人工智能
摘要
大语言模型（LLMs）已在各项任务中展现出令人印象深刻的能力。然而，从根本上改进它们依赖于高质量数据集或计算代价高昂的微调。相反，人类无需外部资源，便可通过自我思考与记忆轻松提升自身。在本文中，我们提出一种框架 MoT，让 LLM 通过思想记忆（Memory-of-Thought）自我提升，无需标注数据集与参数更新。具体而言，MoT 分为两个阶段：1. 在测试阶段之前，LLM 对无标签数据集进行预思考，并将高置信度的思考结果保存为外部记忆；2. 在测试阶段，给定测试问题，LLM 回忆相关记忆以辅助自身推理并作答。实验结果表明，MoT 可显著帮助 ChatGPT 提升其在算术推理、常识推理、事实推理与自然语言推断方面的能力。进一步分析表明，各组件对改进均有关键贡献，且 MoT 能在多种 CoT 方法与 LLMs 上带来一致提升。
引用
@article{arxiv.2305.05181,
title = {MoT: Memory-of-Thought Enables ChatGPT to Self-Improve},
author = {Xiaonan Li and Xipeng Qiu},
journal= {arXiv preprint arXiv:2305.05181},
year = {2023}
}
备注
Accepted to appear at EMNLP 2023