利用Conformer与查询词项独立性改进Transformer-Kernel排序模型
信息检索
2021-04-20 v1 人工智能
机器学习
摘要
Transformer-Kernel (TK)模型在TREC深度学习基准上展现出强劲的重排序性能，并可视为其他基于Transformer架构的高效(但效果略逊)替代方案，后者采用(i)大规模预训练(高训练成本)、(ii)查询与文档联合编码(高推理成本)以及(iii)更多层数Transformer(高训练与高推理成本)。此后，开发了TK模型的一个变体——称为TKL——其引入局部自注意力以在文档排序背景下高效处理更长输入序列。本工作中，我们提出一种新颖Conformer层作为将TK扩展至更长输入序列的替代方法。此外，我们引入查询词项独立性与显式词项匹配，将模型扩展至完整检索设定。我们在TREC 2020深度学习 track的严格盲评设定下评测模型，发现所提架构改动相较TKL带来检索质量提升。我们的最佳模型在NDCG@10上还优于所有非神经运行(“trad”)及三分之二的预训练Transformer基运行(“nnlm”)。
引用
@article{arxiv.2104.09393,
title = {Improving Transformer-Kernel Ranking Model Using Conformer and Query Term Independence},
author = {Bhaskar Mitra and Sebastian Hofstatter and Hamed Zamani and Nick Craswell},
journal= {arXiv preprint arXiv:2104.09393},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:2007.10434