BanglaNirTox：用于孟加拉语文本去毒的可解释AI大规模平行语料库
计算与语言
2025-11-04 v1 人工智能
摘要
孟加拉语中的有毒语言仍然普遍存在，尤其是在网络环境中，且几乎没有有效的预防措施。尽管文本去毒在高资源语言中取得了进展，但由于资源有限，孟加拉语仍未得到充分探索。在本文中，我们提出了一种新颖的孟加拉语文本去毒流水线，该流水线结合了帕累托类别优化的大语言模型(LLM)和思维链(CoT)提示来生成去毒句子。为了支持这项工作，我们构建了BanglaNirTox，这是一个人工生成的平行语料库，包含68,041个有毒孟加拉语句子，并附有类别级毒性标签、推理过程和去毒释义，该语料库使用在随机样本上评估的帕累托优化LLM构建。生成的BanglaNirTox数据集用于微调语言模型，以生成更好的孟加拉语句子去毒版本。我们的研究结果表明，采用CoT提示的帕累托优化LLM显著提高了孟加拉语文本去毒的质量和一致性。
引用
@article{arxiv.2511.01512,
title = {BanglaNirTox: A Large-scale Parallel Corpus for Explainable AI in Bengali Text Detoxification},
author = {Ayesha Afroza Mohsin and Mashrur Ahsan and Nafisa Maliyat and Shanta Maria and Syed Rifat Raiyan and Hasan Mahmud and Md Kamrul Hasan},
journal= {arXiv preprint arXiv:2511.01512},
year = {2025}
}
备注
Under review, 6 pages, 1 figure, 2 tables