EvaLatin 2024 的 UFAL LatinPipe：拉丁语形态句法分析
计算与语言
2024-05-30 v2
摘要
我们提出了 LatinPipe，即 EvaLatin 2024 依存句法分析共享任务的获胜提交。我们的系统由微调后的基础与大型预训练语言模型拼接而成，带有用于句法分析的点积注意力头和用于形态学分析的 softmax 分类头，以联合学习依存句法分析和形态学分析。它通过从七个公开可用的拉丁语语料库中采样进行训练，利用额外的标注协调以实现更统一的标注风格。在微调之前，我们以冻结权重对系统进行了几个初始 epoch 的训练。我们还在 Transformer 之上堆叠 BiLSTM 层，以增加额外的局部相对上下文化。最后，我们集成了七个随机初始化网络的输出概率分布作为最终提交。代码可在 https://github.com/ufal/evalatin2024-latinpipe 获取。
引用
@article{arxiv.2404.05839,
title = {\'UFAL LatinPipe at EvaLatin 2024: Morphosyntactic Analysis of Latin},
author = {Milan Straka and Jana Straková and Federica Gamba},
journal= {arXiv preprint arXiv:2404.05839},
year = {2024}
}
备注
Accepted to LT4HALA 2024