评估基于提示的和微调方法在捷克语指代消解中的表现
计算与语言
2025-06-24 v1
摘要
指代消解在自然语言理解中发挥着关键作用，尤其是在形态丰富的语言如捷克语中。本文 presents 对两种现代捷克语指代消解方法的比较评估：基于大语言模型（LLM）的提示工程和微调紧凑生成模型。我们使用源自捷克依存树库的 dataset 进行评估，测试了包括 Mistral Large 2 和 Llama 3 在内的几种指令调优 LLM，采用系列提示模板。我们将其与我们专为捷克语指代消解训练的 mT5 和 Mistral 模型的微调版本进行比较。我们的实验表明，尽管提示方法可实现最高 74.5% 的准确率，但微调模型——尤其是 mT5-large ——显著优于提示方法，达到最高 88% 的准确率，同时所需计算资源更少。我们分析了在不同指代类型、antecedent 距离和数据来源上的表现，凸显了每种方法的关键优势与权衡。
引用
@article{arxiv.2506.18091,
title = {Evaluating Prompt-Based and Fine-Tuned Approaches to Czech Anaphora Resolution},
author = {Patrik Stano and Aleš Horák},
journal= {arXiv preprint arXiv:2506.18091},
year = {2025}
}
备注
12 pages