减少语言模型的非规范文本生成
计算与语言
2020-11-02 v2
摘要
诸如 GPT-2 等基于 transformer 的大规模语言模型是在从互联网抓取的各种语料库上预训练的。因此，它们易于生成非规范文本（即违背社会规范）。我们引入了一种微调 GPT-2 的技术，使用策略梯度强化学习技术和规范文本分类器来产生奖励与惩罚值。我们在五个数据集上通过自动化和人工参与者实验评估了我们的技术。规范文本分类器在与规范及非规范生成文本的金标准人工判断比较时达到 81-90% 的准确率。我们的规范微调技术能够减少 27-61% 的非规范文本，具体取决于数据集。
引用
@article{arxiv.2001.08764,
title = {Reducing Non-Normative Text Generation from Language Models},
author = {Xiangyu Peng and Siyan Li and Spencer Frazier and Mark Riedl},
journal= {arXiv preprint arXiv:2001.08764},
year = {2020}
}