韩语句子理解：通过 KoSEnd 数据集对 LLM 进行全面评估

尽管 LLM 在 various languages 中取得了显着进展，但仍担忧其在低资源屈折语言（如英语）方面的效果。本研究聚焦于韩语，这是一种因其复杂句子 endings 而著名的语言，并对 LLM 在这一具有挑战性方面进行评估。我们引入韩语句子 endings (KoSEnd) 数据集，其中包含 3000 句句子，每句都标注了 15 种句子 endings 的自然度。这些句子收集自多样来源，以覆盖各种语境。我们评估了 11 个 LLM，以评估其对韩语句子 endings 的理解程度，基于参数数量和预测一致性进行分析。值得注意的是，告诉模型句子 endings 可能缺失可提升性能，凸显了显式考虑某些语言特征的影响。