BERT4SO：通过微调 BERT 进行神经句子排序
计算与语言
2021-05-13 v3
摘要
句子排序旨在将给定文本的句子按正确顺序排列。近期工作将其构建为排序问题并应用深度神经网络。本工作中，我们提出一种新方法，名为 BERT4SO，通过微调 BERT 进行句子排序。我们拼接所有句子，并利用多个特殊词元与精心设计的段（区间）嵌入计算其表示。跨多个句子的词元可相互注意力，极大增强了它们的交互。我们还提出一种基于 ListMLE 的边际列表-wise 排序损失以促进优化过程。在五个基准数据集上的实验结果证明了我们所提方法的有效性。
引用
@article{arxiv.2103.13584,
title = {BERT4SO: Neural Sentence Ordering by Fine-tuning BERT},
author = {Yutao Zhu and Jian-Yun Nie and Kun Zhou and Shengchao Liu and Yabo Ling and Pan Du},
journal= {arXiv preprint arXiv:2103.13584},
year = {2021}
}