复杂自然语言处理在 Transformer 文本排序中的作用？
计算与语言
2022-07-07 v1 人工智能
摘要
尽管基于词项的方法（如 BM25）在排序中提供了强大的基线，但在某些条件下它们会被 BERT 等大型预训练掩码语言模型（MLMs）所超越。迄今为止，其有效性的来源仍不清楚。是否源于其通过建模句法方面来真正理解语义的能力？我们通过破坏查询与段落的自然序列顺序的方式操控输入顺序与位置信息，表明该模型仍取得可比的性能。总体而言，我们的结果强调句法方面在 BERT 重排序的有效性中并不起关键作用。我们指出其他机制，如查询-段落交叉注意力以及基于聚合上下文而不依赖词序来捕获词义的更丰富嵌入，是其优越性能的主要归因。
引用
@article{arxiv.2207.02522,
title = {The Role of Complex NLP in Transformers for Text Ranking?},
author = {David Rau and Jaap Kamps},
journal= {arXiv preprint arXiv:2207.02522},
year = {2022}
}
备注
Proceedings of the 2022 ACM SIGIR International Conference on the Theory of Information Retrieval (ICTIR '22)