基于自监督Transformer的有毒文本文明改写
计算与语言
2021-02-12 v2 人工智能
机器学习
摘要
从社交网络到新闻站点，支持在线评论的平台正日益借助机器学习辅助其内容审核。但该过程通常不给作者提供有助于其按社区准则贡献的反馈。这对人工审核员而言过于耗时，而计算方法仍处起步阶段。本工作聚焦于可帮助以更文明方式建议改写有毒评论的模型。受近期无配对序列到序列任务进展启发，我们引入一种称为CAE-T5的自监督学习模型。CAE-T5采用预训练文本到文本Transformer，并通过去噪与循环自编码器损失进行微调。利用迄今最大的毒性检测数据集（Civil Comments）实验，相较早期文本风格迁移系统，我们的模型生成语句更流畅且更好保留原内容，我们通过多种评分系统及人工评估进行比较。
引用
@article{arxiv.2102.05456,
title = {Civil Rephrases Of Toxic Texts With Self-Supervised Transformers},
author = {Leo Laugier and John Pavlopoulos and Jeffrey Sorensen and Lucas Dixon},
journal= {arXiv preprint arXiv:2102.05456},
year = {2021}
}