ReSeTOX:面向机器翻译毒性缓解的注意力权重重学习
计算与语言
2023-05-22 v1
摘要
我们提出的方法 ReSeTOX(REdo SEarch if TOXic)解决了神经机器翻译(NMT)生成包含输入中不存在的有毒词的翻译输出这一问题。其目标是在无需重新训练的情况下缓解有毒语言的引入。若在推理过程中识别出新增毒性,ReSeTOX 会动态调整键值自注意力权重并重新评估束搜索假设。实验结果表明,ReSeTOX 在 164 种语言上实现了新增毒性降低 57% 的显著效果,同时保持平均翻译质量达 99.5%。
引用
@article{arxiv.2305.11761,
title = {ReSeTOX: Re-learning attention weights for toxicity mitigation in machine translation},
author = {Javier García Gilabert and Carlos Escolano and Marta R. Costa-Jussà},
journal= {arXiv preprint arXiv:2305.11761},
year = {2023}
}