中文

Thunder-KoNUBench:面向韩语否定理解的语料对齐基准

计算与语言 2026-01-09 v1

摘要

尽管已知否定会对大型语言模型(LLM)构成挑战,但用于评估否定理解(尤其是韩语否定理解)的基准仍然稀缺。我们对韩语否定进行了基于语料库的分析,并表明 LLM 在否定条件下的性能会下降。随后我们介绍了 Thunder-KoNUBench,这是一个反映韩语否定现象经验分布的句子级基准。我们评估了 47 个 LLM,分析了模型规模和指令微调的影响,并表明在 Thunder-KoNUBench 上进行微调可改善韩语的否定理解及更广泛的上下文理解能力。

关键词

引用

@article{arxiv.2601.04693,
  title  = {Thunder-KoNUBench: A Corpus-Aligned Benchmark for Korean Negation Understanding},
  author = {Sungmok Jung and Yeonkyoung So and Joonhak Lee and Sangho Kim and Yelim Ahn and Jaejin Lee},
  journal= {arXiv preprint arXiv:2601.04693},
  year   = {2026}
}