考察神经语言模型的修辞能力
计算与语言
2020-10-06 v2
摘要
近年来，神经语言模型（LMs）在生成高质量语篇方面展现出令人印象深刻的能力。尽管许多近期论文分析了 LMs 中编码的句法层面信息，但迄今尚无对句间修辞知识的分析。本文提出一种定量评估神经 LMs 修辞能力的方法。我们通过评估 LMs 编码源自修辞结构理论（RST）的一组语言特征的能力，考察其理解语篇修辞的能力。实验表明，基于 BERT 的 LMs 优于其他 Transformer LMs，揭示了其中间层表示中更丰富的语篇知识。此外，GPT-2 和 XLNet 显然编码的修辞知识较少，我们从语言哲学角度给出了解释。我们的方法为量化神经 LMs 的修辞能力提供了一条途径。
引用
@article{arxiv.2010.00153,
title = {Examining the rhetorical capacities of neural language models},
author = {Zining Zhu and Chuer Pan and Mohamed Abdalla and Frank Rudzicz},
journal= {arXiv preprint arXiv:2010.00153},
year = {2020}
}
备注
EMNLP 2020 BlackboxNLP Workshop