字节跳动 Volctrans 用于 WMT 2020 的平行语料过滤系统
计算与语言
2020-10-28 v1
摘要
在本文中，我们描述了向 WMT20 低资源条件下平行语料过滤与对齐共享任务提交的方案。该任务要求参与者从给定的文档对中提取潜在的平行句对，并为其打分以便过滤低质量句对。我们的系统 Volctrans 由两个模块组成，即挖掘模块和打分模块。基于词对齐模型，挖掘模块采用迭代挖掘策略来抽取潜在平行句。在打分模块中，一个基于 XLM 的打分器提供分数，随后进行重排序与集成。我们的提交方案在 From Scratch/Fine-Tune 条件下，于 km-en 和 ps-en 上分别以 3.x/2.x 和 2.x/2.x 优于基线，为所有提交方案中的最高。
引用
@article{arxiv.2010.14029,
title = {Volctrans Parallel Corpus Filtering System for WMT 2020},
author = {Runxin Xu and Zhuo Zhi and Jun Cao and Mingxuan Wang and Lei Li},
journal= {arXiv preprint arXiv:2010.14029},
year = {2020}
}
备注
WMT 2020