方言毒性检测：评估跨语言变体的 LLM-as-a-Judge 一致性
计算与语言
2024-11-19 v1
摘要
关于方言差异如何影响现代 LLM 的毒性检测，目前尚缺乏系统性的研究。此外，尽管将 LLM 作为评估者（“LLM-as-a-judge”）是一个不断发展的研究领域，但它们对话音细微差异的敏感性仍未得到充分探讨，需要更多关注。在本文中，我们通过对 LLM 跨多种方言的全面毒性评估来填补这些空白。我们通过合成转换和人工辅助翻译创建了一个多方言数据集，涵盖 10 个语言簇和 60 个语言变体。然后，我们评估了三个 LLM 在多语言、方言以及 LLM-人类一致性方面评估毒性的能力。我们的研究结果表明，LLM 在处理多语言和方言变体时具有敏感性。然而，如果必须对一致性进行排序，最弱的环节是 LLM-人类一致性，其次是方言一致性。代码仓库：\url{https://github.com/ffaisal93/dialect_toxicity_llm_judge}
引用
@article{arxiv.2411.10954,
title = {Dialectal Toxicity Detection: Evaluating LLM-as-a-Judge Consistency Across Language Varieties},
author = {Fahim Faisal and Md Mushfiqur Rahman and Antonios Anastasopoulos},
journal= {arXiv preprint arXiv:2411.10954},
year = {2024}
}