跨语言与跨语法的预训练模型评估
计算与语言
2023-09-21 v1
摘要
我们提出了一种评估多语言大语言模型(LLMs)如何就多形式化句法结构学习句法的方法。我们旨在通过将解析转化为序列标注来恢复成分与依存结构。为此，我们选取若干LLM，并在13个多样的UD树库上研究其依存解析、在10个树库上研究其成分解析。我们的结果表明：(i)该框架在不同编码间具有一致性，(ii)预训练词向量并不比依存更偏好句法的成分表示，(iii)与基于字符的模型相反，需要子词分词来表示句法，以及(iv)在从词向量中恢复句法时，预训练数据中语言的出现比任务数据的数量更为重要。
引用
@article{arxiv.2309.11165,
title = {Assessment of Pre-Trained Models Across Languages and Grammars},
author = {Alberto Muñoz-Ortiz and David Vilares and Carlos Gómez-Rodríguez},
journal= {arXiv preprint arXiv:2309.11165},
year = {2023}
}
备注
Accepted at IJCNLP-AACL 2023