Qorgau：在哈萨克语-俄语双语语境下评估 LLM 安全性
计算与语言
2025-07-15 v2
摘要
众所周知，大型语言模型（LLM）具有生成有害内容的潜力，从而对用户构成风险。尽管在开发 LLM 风险分类法和安全评估提示方面取得了显著进展，但大多数研究主要集中在英语的单语语境中。然而，双语语境中特定语言和地区的风险往往被忽视，且核心发现可能与单语环境中的结论存在分歧。在本文中，我们引入了 Qorgau，这是一个专为哈萨克语和俄语安全评估设计的新颖数据集，反映了哈萨克斯坦独特的双语环境，该地区同时使用哈萨克语（低资源语言）和俄语（高资源语言）。对多语言和特定语言 LLM 的实验揭示了安全性能上的显著差异，强调了需要量身定制的、特定地区的数据集，以确保在哈萨克斯坦等国家负责任且安全地部署 LLM。警告：本文包含可能具有冒犯性、有害性或偏见性的示例数据。
引用
@article{arxiv.2502.13640,
title = {Qorgau: Evaluating LLM Safety in Kazakh-Russian Bilingual Contexts},
author = {Maiya Goloburda and Nurkhan Laiyk and Diana Turmakhan and Yuxia Wang and Mukhammed Togmanov and Jonibek Mansurov and Askhat Sametov and Nurdaulet Mukhituly and Minghan Wang and Daniil Orel and Zain Muhammad Mujahid and Fajri Koto and Timothy Baldwin and Preslav Nakov},
journal= {arXiv preprint arXiv:2502.13640},
year = {2025}
}