从内部还是外部从属？测试土耳其语反射性指代在适应型与链式思维大语言模型中的表征
计算与语言
2026-02-10 v2
摘要
本研究评估了最先进的大语言模型是否捕捉土耳其语反射性代词的指代关系。我们构建了一个包含 100 句土耳其语句子的平衡评估集，系统性地对比 local 与 non-local 先行词对反射性代词 kendi 和 kendisi 的指代。我们比较了两种截然不同的系统：一个针对多步骤推理优化的 OpenAI 链式思维模型，以及 Trendyol-LLM-7B-base-v0.1，一款广泛在土耳其语数据上微调的 LLaMA 2 派生模型。对先行词选择的评估采用结合句子水平困惑度与在最小差异 continuation 之间的强制选择比较的混合范式。总体而言，Trendyol-LLM 在约 70% 的试验中倾向于 local 指代，表现出对结构上近靠先行词的稳健局部偏好。相比之下，OpenAI 模型 (o1 Mini) 在 local 与 long-distance 读取之间几乎均匀分布其选择，表明其对这种指代配置的局部性敏感性较弱或不够一致。综上，这些结果揭示了两种系统在绑定行为之间的显著差异，动机对如何通过模型架构、训练数据和推理策略影响土耳其语指涉依赖的表示进行更深入分析。
引用
@article{arxiv.2602.00380,
title = {Clause-Internal or Clause-External? Testing Turkish Reflexive Binding in Adapted versus Chain of Thought Large Language Models},
author = {Sercan Karakaş},
journal= {arXiv preprint arXiv:2602.00380},
year = {2026}
}