TPPoet: 使用最少数据与高级解码技术的基于 Transformer 的波斯语诗歌生成
计算与语言
2023-12-07 v2 人工智能
机器学习
摘要
语言模型的最新进展证明了其在艺术和人文学科相关任务中的显著有效性。尽管语言模型在广泛的自然语言处理任务中表现出卓越的性能，但它们在小数据集上的利用及其复制更具创造性的人类能力方面存在显著挑战。在本研究中，我们旨在通过在专用数据集上使用 transformer 架构训练一个波斯语古典诗歌生成模型（无需预训练）来解决这些挑战。此外，我们提出了一种新颖的解码方法，以增强生成诗歌的连贯性和意义，有效地管理多样性与质量之间的权衡。此外，我们通过一套全面的自动和人工评估评估了我们的训练方法和所提出的解码方法的结果，并表明与其他解码方法和现有的波斯语大语言模型（LLM）相比，其具有生成连贯且有意义诗歌的卓越能力。
关键词
引用
@article{arxiv.2312.02125,
title = {TPPoet: Transformer-Based Persian Poem Generation using Minimal Data and Advanced Decoding Techniques},
author = {Amir Panahandeh and Hanie Asemi and Esmaeil Nourani},
journal= {arXiv preprint arXiv:2312.02125},
year = {2023}
}