大多数语言模型也能成为诗人：一个AI写作助手与约束文本生成工作室
计算与语言
2023-06-29 v1 人工智能
机器学习
摘要
尽管约束自然语言生成领域进展迅速，但鲜有工作探索词汇在词法、语义和/或语音上受约束的语言模型的潜力。我们发现大多数语言模型即使在显著约束下也能生成引人入胜的文本。我们提出了一种简单且普遍适用的技术，通过在生成文本单元之前对语言模型词汇表组合式地应用过滤函数来修改语言模型的输出。该方法即插即用，无需修改模型。为展示该技术的价值，我们提出了一个易于使用的AI写作助手，称为约束文本生成工作室（CTGS）。CTGS允许用户生成或从具有任意组合多种约束的文本中选择，例如禁用特定字母、强制生成词具有特定音节数、和/或强制词为另一词的局部变位词。我们引入了一个省略字母e的新颖散文数据集。我们表明，在该数据集上，我们的方法相比单独微调取得了严格更优的性能。我们还展示了一个名为Gadsby的Huggingface空间网络应用来呈现该技术。代码已公开：https://github.com/Hellisotherpeople/Constrained-Text-Generation-Studio
引用
@article{arxiv.2306.15926,
title = {Most Language Models can be Poets too: An AI Writing Assistant and Constrained Text Generation Studio},
author = {Allen Roush and Sanjay Basu and Akshay Moorthy and Dmitry Dubovoy},
journal= {arXiv preprint arXiv:2306.15926},
year = {2023}
}
备注
Published in the proceedings of the 2nd Workshop on When Creative AI Meets Conversational AI (CAI2), COLING 2022, 6 pages, System Demonstration Paper