基于正则化自注意力机制建模文档交互的排序学习
信息检索
2020-05-11 v1 机器学习
摘要
排序学习是一项重要任务，已成功部署于许多现实世界的信息检索系统中。现有大多数方法独立计算文档的相关性判断，未从整体上考虑整个竞争文档集合。在本文中，我们探索利用基于自注意力机制的神经网络来建模文档交互。尽管自注意力网络在许多 NLP 任务中取得了 SOTA 的结果，但我们根据经验发现，相较于基线神经排序学习架构，自注意力机制几乎没有带来益处。为了改善自注意力权重的学习，我们提出了简单而有效的正则化项，旨在建模文档之间的交互。在公开可用的排序学习（LETOR）数据集上的评估表明，使用我们提出的正则化项训练自注意力网络，可以显著优于现有的排序学习方法。
引用
@article{arxiv.2005.03932,
title = {Modeling Document Interactions for Learning to Rank with Regularized Self-Attention},
author = {Shuo Sun and Kevin Duh},
journal= {arXiv preprint arXiv:2005.03932},
year = {2020}
}
备注
5 pages,5 figures