端到端神经 RST 式语篇分析的简单而强力的基线
计算与语言
2022-11-02 v2
摘要
为了促进并进一步发展 RST 式语篇分析模型，我们需要一个强有力的基线，可作为报告可靠实验结果的参照。本文通过整合现有的简单分析策略（自顶向下与自底向上）与各种基于 transformer 的预训练语言模型，探索了一个强基线。从两个基准数据集获得的实验结果表明，分析性能强烈依赖于预训练语言模型而非分析策略。特别地，当采用 DeBERTa 时，自底向上分析器相比当前最佳分析器取得了大幅性能提升。我们进一步揭示，通过我们在句内与跨句分析以及核性预测中的分析，具有跨度掩码（span-masking）方案的语言模型尤其提升了分析性能。
引用
@article{arxiv.2210.08355,
title = {A Simple and Strong Baseline for End-to-End Neural RST-style Discourse Parsing},
author = {Naoki Kobayashi and Tsutomu Hirao and Hidetaka Kamigaito and Manabu Okumura and Masaaki Nagata},
journal= {arXiv preprint arXiv:2210.08355},
year = {2022}
}
备注
Accepted in Findings of EMNLP 2022