评估语言知识在预训练语言模型中的有效性：通用依赖关系的案例研究
计算与语言
2025-06-06 v1
摘要
通用依赖关系（Universal Dependencies, UD）虽然被广泛认为是跨语言句法表示最成功的语言框架，但其有效性在实际应用中仍未得到充分探索。本文通过将UD集成到预训练语言模型中，评估UD是否能提高其在跨语言对抗性改写识别任务上的性能。实验结果表明，纳入UD后在准确率和分数上均实现显著提升，分别平均提升3.85%和6.08%。这些增强措施缩小了预训练模型与大型语言模型在部分语言对之间的性能差距，甚至在某些语言对中超越后者。此外，给定语言与英语之间的UD基于相似性得分与该语言模型性能呈正相关。上述两项发现凸显了UD在跨域任务中的有效性及潜力。
引用
@article{arxiv.2506.04887,
title = {Evaluating the Effectiveness of Linguistic Knowledge in Pretrained Language Models: A Case Study of Universal Dependencies},
author = {Wenxi Li},
journal= {arXiv preprint arXiv:2506.04887},
year = {2025}
}