中文

基于平行语料库的多语言可解释文本解毒

计算与语言 2024-12-17 v1 人工智能

摘要

尽管各国和社交媒体平台制定了各种法规(印度政府,2021;欧洲议会和欧盟理事会,2022),数字辱骂性言论仍然是一个重大问题。应对这一挑战的一种潜在方法是自动文本解毒,这是一种文本风格迁移(TST)方法,将有毒语言转化为更中性或无毒的形态。迄今为止,用于文本解毒任务的平行语料库(Logachev等,2022;Atwell等,2022;Dementieva等,2024a)已被证明对最先进的方法至关重要。通过这项工作,我们将平行文本解毒语料库扩展到新语言——德语、中文、阿拉伯语、印地语和阿姆哈拉语——在广泛的多语言设置中测试TST基线。接下来,我们进行了首次自动化的、可解释的分析,描述了有毒和无毒句子的描述性特征,深入探讨了9种语言中毒性和解毒的细微差别、相似性和差异。最后,基于获得的见解,我们实验了一种新颖的文本解毒方法,该方法受思维链推理方法启发,通过对相关描述性属性进行聚类来增强提示过程。

关键词

引用

@article{arxiv.2412.11691,
  title  = {Multilingual and Explainable Text Detoxification with Parallel Corpora},
  author = {Daryna Dementieva and Nikolay Babakov and Amit Ronen and Abinew Ali Ayele and Naquee Rizwan and Florian Schneider and Xintong Wang and Seid Muhie Yimam and Daniil Moskovskiy and Elisei Stakovskii and Eran Kaufman and Ashraf Elnagar and Animesh Mukherjee and Alexander Panchenko},
  journal= {arXiv preprint arXiv:2412.11691},
  year   = {2024}
}

备注

COLING 2025, main conference, long