匿名化 BERT：一种面向性别代词消解挑战的增强方法

Bo Liu

匿名化 BERT：一种面向性别代词消解挑战的增强方法

计算与语言 2019-06-12 v2 人工智能机器学习

作者: Bo Liu

摘要

我们呈现了在性别代词消解挑战赛中第 7 名的方案，该方案使用未经微调的 BERT 以及一种专为上下文嵌入词元级任务设计的新型增强策略。我们的方法通过将候选姓名替换为一组常见占位姓名来对指称对象进行匿名化。除有效增大训练数据规模这一通常益处外，该方法还使姓名中嵌入的特异信息多样化。使用同一组常见名字亦能帮助模型更好地识别姓名、缩短词元长度，并消除与姓名相关的性别与地域偏倚。该系统在第 2 阶段得分为 0.1947 log loss，其中增强带来了 0.04 的提升。赛后分析显示，当使用不同嵌入层时，系统得分为 0.1799，这将可获得第 3 名。

关键词

性别代词消解 BERT 数据增强匿名化上下文嵌入词元级任务

引用

@article{arxiv.1905.01780,
  title  = {Anonymized BERT: An Augmentation Approach to the Gendered Pronoun Resolution Challenge},
  author = {Bo Liu},
  journal= {arXiv preprint arXiv:1905.01780},
  year   = {2019}
}

备注

6 pages; accepted by 1st ACL Workshop on Gender Bias for NLP at ACL 2019; code is at https://github.com/boliu61/gendered-pronoun-resolution

匿名化 BERT：一种面向性别代词消解挑战的增强方法

摘要

关键词

引用

备注

相关论文