芬兰语依存句法分析的域外评估
计算与语言
2022-04-25 v1
摘要
学术界普遍的做法是在通常从训练语料中留出的域内评估数据上评估模型性能。然而，在许多真实世界应用中，模型所应用的数据可能与训练数据的特征大不相同。本文我们聚焦于芬兰语域外（out-of-domain）句法分析，引入了一个新的UD Finnish-OOD域外树库，包含五个差异极大的数据源（网页文档、临床文本、在线讨论、推文和诗歌），总计在Universal Dependencies框架下发布的2,122个句子、19,382个句法词。结合新树库，我们利用来自三个不同芬兰语UD树库（TDT、PUD、OOD）的可用段落级信息，给出了广泛的域外句法分析评估。与先前存在的树库相比，新的Finnish-OOD被证明包含对通用分析器更具挑战性的段落，从而创建了一个有趣的评估环境，并为那些在训练域外应用该分析器的人提供了有价值的信息。
引用
@article{arxiv.2204.10621,
title = {Out-of-Domain Evaluation of Finnish Dependency Parsing},
author = {Jenna Kanerva and Filip Ginter},
journal= {arXiv preprint arXiv:2204.10621},
year = {2022}
}
备注
Accepted at LREC 2022