通过字节对编码学习相关语言间统计机器翻译的可变长度单元
计算与语言
2017-07-24 v3
摘要
我们探索了使用通过字节对编码（简称 BPE 单元）学习到的片段作为相关语言间统计机器翻译的基本单元，并将其与正字法音节进行比较，后者目前是该翻译任务中表现最佳的基本单元。BPE 将最频繁的字符序列识别为基本单元，而正字法音节则是基于语言学动机伪音节。我们表明，作为翻译单元，BPE 单元的表现略优于正字法音节，BLEU 分数最高提升了 11%。虽然正字法音节仅适用于使用元音表示的书写系统的语言，但 BPE 独立于书写系统，且我们证明 BPE 在非元音书写系统中也优于其他单元。我们的结果得到了跨越多个语系和书写系统的广泛实验的支持。
引用
@article{arxiv.1610.06510,
title = {Learning variable length units for SMT between related languages via Byte Pair Encoding},
author = {Anoop Kunchukuttan and Pushpak Bhattacharyya},
journal= {arXiv preprint arXiv:1610.06510},
year = {2017}
}
备注
Accepted at First Workshop on Subword and Character LEvel Models in NLP (SCLeM) to be held at EMNLP 2017