SmurfCat 在 PAN 2024 文本去毒竞赛中：多语言 Transformer 的对齐用于文本去毒
计算与语言
2024-07-11 v2 人工智能
摘要
本文介绍了 SmurfCat 团队在 PAN-2024 竞赛中针对多语言文本去毒任务的解决方案。通过使用机器翻译进行数据增强和特殊的过滤程序，我们收集了一个额外的多语言平行数据集用于文本去毒。利用获得的数据，我们在文本去毒任务上微调了多个多语言序列到序列模型，例如 mT0 和 Aya。我们将 ORPO 对齐技术应用于最终模型。我们的最终模型仅有 37 亿参数，在乌克兰语上取得了最先进的结果，并在其他语言上取得了接近最先进的结果。在竞赛中，我们的团队在自动评估中以 0.52 分获得第一名，在最终人工评估中以 0.74 分获得第二名。
引用
@article{arxiv.2407.05449,
title = {SmurfCat at PAN 2024 TextDetox: Alignment of Multilingual Transformers for Text Detoxification},
author = {Elisei Rykov and Konstantin Zaytsev and Ivan Anisimov and Alexandr Voronin},
journal= {arXiv preprint arXiv:2407.05449},
year = {2024}
}