RecurrentGPT：交互式生成长文本
计算与语言
2023-05-23 v1 机器学习
摘要
Transformer 的固定大小上下文使 GPT 模型无法生成任意长的文本。在本文中，我们介绍 RecurrentGPT，一种基于语言的 RNN 中循环机制的模拟体。RecurrentGPT 构建于诸如 ChatGPT 之类的大语言模型（LLM）之上，并使用自然语言来模拟 LSTM 中的长短期记忆机制。在每个时间步，RecurrentGPT 生成一段文本，并分别更新存储在硬盘和提示上的基于语言的长期与短期记忆。这种循环机制使 RecurrentGPT 能够生成任意长度的文本而不遗忘。由于人类用户可以轻松观察和编辑自然语言记忆，RecurrentGPT 具有可解释性，并支持长文本的交互式生成。RecurrentGPT 是迈向超越局部编辑建议的下一代计算机辅助写作系统的初步一步。除了产生 AI 生成内容（AIGC）外，我们还展示了将 RecurrentGPT 用作直接与消费者交互的交互式小说的可能性。我们将生成模型的这种用法称为“AI 即内容”（AIAC），我们相信这是传统 AIGC 的下一形态。我们进一步展示了使用 RecurrentGPT 创建直接与读者而非作者交互的个性化交互式小说的可能性。更广泛地说，RecurrentGPT 展示了从认知科学和深度学习中的流行模型设计借用思想来提示 LLM 的效用。我们的代码可在 https://github.com/aiwaves-cn/RecurrentGPT 获取，在线演示可在 https://www.aiwaves.org/recurrentgpt 获取。
引用
@article{arxiv.2305.13304,
title = {RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text},
author = {Wangchunshu Zhou and Yuchen Eleanor Jiang and Peng Cui and Tiannan Wang and Zhenxin Xiao and Yifan Hou and Ryan Cotterell and Mrinmaya Sachan},
journal= {arXiv preprint arXiv:2305.13304},
year = {2023}
}
备注
Under review