CharPoet：基于无分词大语言模型的中国古典诗词生成系统
计算与语言
2024-03-21 v3 人工智能
机器学习
摘要
中国古典诗词自动生成已引起广泛研究兴趣，但同时有效控制格式和内容仍具挑战性。传统系统通常接受关键词作为用户输入，导致对内容的控制有限。大语言模型（LLMs）通过允许不受限的用户指令改善了内容控制，但逐词元（token）生成过程经常导致格式错误。受此启发，我们提出 CharPoet，一个基于无分词大语言模型的中国古典诗词生成系统，可有效控制格式和内容。我们的无分词架构以逐字方式生成，能够精确控制字数。CharPoet 从现有的基于分词的大语言模型剪枝而来，继承了其预训练能力，并能根据诸如“为我母亲的生日写一首诗”之类的指令生成诗词。CharPoet 的格式准确率超过 0.96，优于 Jiuge-GPT-2（0.91）和 GPT-4（0.38）。在内容质量方面，CharPoet 超越了包括 Jiuge 在内的传统系统，并与其他大语言模型相当。我们的系统已开源，可在 https://modelscope.cn/models/CharPoet/CharPoet 获取。CharPoet 的视频演示见 https://youtu.be/voZ25qEp3Dc。
引用
@article{arxiv.2401.03512,
title = {CharPoet: A Chinese Classical Poetry Generation System Based on Token-free LLM},
author = {Chengyue Yu and Lei Zang and Jiaotuan Wang and Chenyi Zhuang and Jinjie Gu},
journal= {arXiv preprint arXiv:2401.03512},
year = {2024}
}