BERT 如何说莎士比亚英语？评估上下文语言模型中的历史偏见
计算与语言
2024-02-08 v1 计算机与社会
摘要
本文探讨了通过衡量基于 BERT 的上下文语言模型对早期现代英语（EME）和现代英语（ME）的适应性来分析其历史偏见的思路。在初步实验中，我们使用 60 个掩码句子（20 个 EME 特定句、20 个 ME 特定句和 20 个通用句）和三个不同模型（即 BERT Base、MacBERTh、English HLM）执行填空测试。随后，我们根据两种语言变体之间的 5 点双极量表对模型预测进行评分，并推导出一个加权分数来衡量每个模型对 EME 和 ME 英语变体的适应性。
引用
@article{arxiv.2402.05034,
title = {How BERT Speaks Shakespearean English? Evaluating Historical Bias in Contextual Language Models},
author = {Miriam Cuscito and Alfio Ferrara and Martin Ruskov},
journal= {arXiv preprint arXiv:2402.05034},
year = {2024}
}