别碰我的变音符号

在将文本输入NLP模型之前进行预处理这一常见做法引入了许多决策点，这些决策点对模型性能产生了意外的影响。在这篇观点文章中，我们聚焦于源自多种语言和脚本的文本中变音符号的处理。我们通过若干案例研究，展示了变音字符编码不一致以及完全移除变音符号所带来的不利影响。我们呼吁社区在所有模型和工具包中采取简单但必要的措施，以改善对带变音符号文本的处理，并由此扩展以提高多语言NLP中的公平性。