新一代 Perspective API：高效多语言字符级 Transformer
计算与语言
2022-02-24 v1 人工智能
计算机与社会
机器学习
摘要
在全球万维网上，有毒内容检测器是抵御潜在仇恨与攻击性消息的重要防线。因此，构建能实现更安全互联网的高效分类器是一个重要的研究领域。此外，网络是一个高度多语言、跨文化的社区，并随时间发展出自身的行话。因此，开发在多样语言、用法与风格上均有效的模型至关重要。本文介绍了 Google Jigsaw 下一代 Perspective API 背后的基本原理。该方法的核心是一个单一的多语言无词表 Charformer 模型，可适用于一系列语言、领域与任务。我们证明，通过摒弃静态词表，我们在多种设定下获得了灵活性。我们还概述了使此类字节级模型高效并可用于生产部署的技术。通过在源自真实 API 流量的多语言有毒评论分类基准上的大量实验，以及在代码混合、隐蔽毒性、基于 emoji 的仇恨、人类可读混淆、分布偏移与偏差评估设定上的评价，我们表明所提方法优于强基线。最后，我们展示了将该系统部署于生产环境中的发现。
引用
@article{arxiv.2202.11176,
title = {A New Generation of Perspective API: Efficient Multilingual Character-level Transformers},
author = {Alyssa Lees and Vinh Q. Tran and Yi Tay and Jeffrey Sorensen and Jai Gupta and Donald Metzler and Lucy Vasserman},
journal= {arXiv preprint arXiv:2202.11176},
year = {2022}
}