基于 Transformer 的文本生成中非裔美国白话英语的考察
计算与语言
2020-10-30 v2 人工智能
摘要
社交媒体的增长促进了非裔美国白话英语（AAVE）的书面使用，该变体传统上仅用于口语语境。然而，由于文本语料的可用性，NLP 模型历来使用主导英语变体（如标准美国英语（SAE））开发。我们通过创建意图等价的并行 AAVE/SAE 推文对数据集，考察 GPT-2 在 AAVE 文本上的表现，从而为每个配对隔离句法结构及 AAVE 或 SAE 特有语言。我们使用预训练情感分类器评估每个样本及其 GPT-2 生成文本，发现虽然 AAVE 文本比较 SAE 产生更多负向情感分类，但使用 GPT-2 通常会增加两者的正向情感出现频次。此外，我们对 GPT-2 生成的 AAVE 与 SAE 文本进行人工评估，以比较语境严谨度与整体质量。
引用
@article{arxiv.2010.02510,
title = {Investigating African-American Vernacular English in Transformer-Based Text Generation},
author = {Sophie Groenwold and Lily Ou and Aesha Parekh and Samhita Honnavalli and Sharon Levy and Diba Mirza and William Yang Wang},
journal= {arXiv preprint arXiv:2010.02510},
year = {2020}
}
备注
7 pages, EMNLP 2020