乌克兰语毒性分类
计算与语言
2024-04-30 v1
摘要
毒性检测任务仍然是一个相关任务，尤其是在安全公平的语言模型开发背景下。然而，并非所有语言都有标注的二元毒性分类语料库，考虑到标注过程资源密集的特性，这是可以理解的。特别是乌克兰语，是缺乏此类资源的语言之一。据我们所知，此前不存在乌克兰语毒性分类语料库。在本研究中，我们旨在通过研究跨语言知识迁移技术并创建标注语料库来填补这一空白，方法包括：（i）从英语语料库翻译，（ii）使用关键词过滤毒性样本，以及（iii）通过众包进行标注。我们比较了大型语言模型提示和其他跨语言迁移方法（有微调和无微调），为最稳健和高效的基线提供了见解。
引用
@article{arxiv.2404.17841,
title = {Toxicity Classification in Ukrainian},
author = {Daryna Dementieva and Valeriia Khylenko and Nikolay Babakov and Georg Groh},
journal= {arXiv preprint arXiv:2404.17841},
year = {2024}
}
备注
Accepted to WOAH, NAACL, 2024. arXiv admin note: text overlap with arXiv:2404.02043