技术报告：位置偏差在 token 分类中对语言模型的影响
计算与语言
2024-04-12 v4 人工智能
摘要
语言模型（LMs）已在自然语言处理（NLP）任务中展现出最先进的性能。诸如命名实体识别（NER）或词性（POS）标注等下游任务已知会受到数据不平衡问题的影响，特别是正例与负例的比例以及类别差异。本文研究了一个常被忽视的编码器模型问题，即 token 分类任务中正例的位置偏差。为完整起见，我们也在评估中包含了解码器。我们使用不同的位置嵌入技术评估位置偏差的影响，重点关注带有绝对位置嵌入（APE）、相对位置嵌入（RPE）和旋转位置嵌入（RoPE）的 BERT。因此，我们深入评估了在 token 分类基准上微调时位置偏差对 LMs 性能的影响。我们的研究包括用于 NER 的 CoNLL03 和 OntoNote5.0，以及用于 POS 标注的 English Tree Bank UD_en 和 TweeBank。我们提出了一种评估方法来研究 transformer 模型中的位置偏差。我们表明 LMs 可能受到此偏差的影响，其性能平均下降幅度在 3% 到 9% 之间。为缓解该效应，我们提出了两种方法：随机位置偏移和上下文扰动，在训练过程中应用于批次。结果显示在 CoNLL03、UD_en 和 TweeBank 上模型性能提升了约 2%。
引用
@article{arxiv.2304.13567,
title = {Technical Report: Impact of Position Bias on Language Models in Token Classification},
author = {Mehdi Ben Amor and Michael Granitzer and Jelena Mitrović},
journal= {arXiv preprint arXiv:2304.13567},
year = {2024}
}
备注
Updated content of the preprint