以文档最小风险训练应对暴露偏差：剑桥团队在 WMT20 生物医学翻译任务中的方法
计算与语言
2020-10-13 v1
摘要
2020 年 WMT 生物医学翻译任务评估了 Medline 摘要的翻译。这是一个小领域翻译任务，意味着相关训练数据有限且风格与词汇极具特异性。在此类数据上训练的模型易受暴露偏差影响，尤其是当训练句对彼此并非完美翻译时。若模型学会忽略源句，这可能导致推理时表现不佳。UNICAM 参赛系统通过在微调阶段使用最小风险训练（Minimum Risk Training, MRT）的一种鲁棒变体来解决此问题。我们将该方法与用于移除“问题”训练样本的数据过滤方法进行对比。在 MRT 微调下，我们在英德与英西两个方向的生物医学翻译上均取得良好结果。特别地，尽管仅使用单一模型而未进行集成，我们取得了最佳的英译西结果以及第二佳的西译英结果。
引用
@article{arxiv.2010.05333,
title = {Addressing Exposure Bias With Document Minimum Risk Training: Cambridge at the WMT20 Biomedical Translation Task},
author = {Danielle Saunders and Bill Byrne},
journal= {arXiv preprint arXiv:2010.05333},
year = {2020}
}
备注
WMT20 biomedical task