作为文本编码器预训练的相对位置预测
计算与语言
2022-02-03 v1
摘要
意义由其所处的语境所定义。然而，语境有两方面：它基于词元的身份，也基于它们的位置（拓扑）。我们认为以位置为中心的视角更通用且有用。NLP中经典的MLM和CLM目标很容易表述为整个词表上的位置预测。将NLP中的相对位置编码范式适配为自监督学习创建相对标签，我们力求通过下游任务性能表明更优的预训练。
引用
@article{arxiv.2202.01145,
title = {Relative Position Prediction as Pre-training for Text Encoders},
author = {Rickard Brüel-Gabrielsson and Chris Scarvelis},
journal= {arXiv preprint arXiv:2202.01145},
year = {2022}
}