LLM 在古典语言上的跨语言零样本泛化案例研究
计算与语言
2025-06-03 v2
摘要
大型语言模型（LLM）在 diverse 任务和语言上已展现出惊人的泛化能力。本研究聚焦于三种古典语言——梵语、古希腊语和拉丁语——的自然语言理解，探讨影响跨语言零样本泛化的因素。首先，我们探索了命名实体识别和翻译为英语的任务。尽管 LLM 在 out-of-domain 数据上表现出与 fine-tuned baseline 相当甚至更好的表现，但较小规模的模型在处理 niche 或抽象实体类型时常常困难。此外，我们聚焦于梵语，提出 factoid question-answering（QA）数据集，表明通过检索增强生成方法显著提升了性能。相比之下，较小规模的 LLM 在这些 QA 任务中表现出显著的性能下降。这些结果表明，模型规模是影响跨语言泛化的重要因素。鉴于假设如 GPT-4o 和 Llama-3.1 等模型未在古典语言上进行指令微调，我们的发现为这些模型在古典语言上的泛化及其在古典研究中的实用性提供了洞见。
引用
@article{arxiv.2505.13173,
title = {A Case Study of Cross-Lingual Zero-Shot Generalization for Classical Languages in LLMs},
author = {V. S. D. S. Mahesh Akavarapu and Hrishikesh Terdalkar and Pramit Bhattacharyya and Shubhangi Agarwal and Vishakha Deulgaonkar and Pralay Manna and Chaitali Dangarikar and Arnab Bhattacharya},
journal= {arXiv preprint arXiv:2505.13173},
year = {2025}
}
备注
Accepted to ACL 2025 Findings