BERT 学到了什么关于韵律的知识？
计算与语言
2023-04-26 v1
摘要
语言模型已几乎无处不在地应用于自然语言处理任务中，在包括韵律在内的许多任务上取得了最优结果。由于模型设计在训练时并未定义预定的语言目标，而是旨在学习语言的通用表示，分析与解释模型隐式捕获的表示对于弥合可解释性与模型性能之间的差距十分重要。若干研究已探索了模型所捕获的语言信息，为其表示能力提供了一些见解。然而，当前研究尚未探讨韵律是否为模型所学习的语言结构信息的一部分。在本工作中，我们对 BERT 进行了一系列实验，探查不同层所捕获的表示。我们的结果表明，关于韵律显著性的信息跨越许多层，但主要集中于中间层，表明 BERT 主要依赖句法与语义信息。
引用
@article{arxiv.2304.12706,
title = {What does BERT learn about prosody?},
author = {Sofoklis Kakouros and Johannah O'Mahony},
journal= {arXiv preprint arXiv:2304.12706},
year = {2023}
}
备注
Accepted at the International Congress of Phonetic Sciences (ICPhS 2023; https://www.icphs2023.org/)