中文

利用深度学习克隆意识形态与风格

计算与语言 2024-09-02 v1 人工智能 机器学习

摘要

由于大规模应用,文本生成任务在过去几年中引起了研究人员的关注。过去,许多研究人员专注于基于任务的文本生成。我们的研究专注于基于特定作者的意识形态和风格的文本生成,以及针对该作者过去未曾写过的主题进行文本生成。我们训练的模型需要一个包含文本开头几个词的输入提示,以基于所训练模型的作者的意识形态和风格生成若干段落文本。我们完成此任务的方法基于Bi-LSTM。Bi-LSTM模型用于在字符级别进行预测,训练时使用特定作者的语料库以及真实语料库。一个预训练模型用于识别真实语料库中与作者语料库存在矛盾的句子,以使我们的语言模型产生偏向。在训练期间,我们在字符级别达到了2.23的困惑度分数。实验显示测试数据集上的困惑度分数约为3。

关键词

引用

@article{arxiv.2211.07712,
  title  = {Cloning Ideology and Style using Deep Learning},
  author = {Omer Beg and Muhammad Nasir Zafar and Waleed Anjum},
  journal= {arXiv preprint arXiv:2211.07712},
  year   = {2024}
}

备注

11 pages, 7 figures, 3 tables