分词与无噪声通道的两个反例
计算与语言
2024-03-01 v2
摘要
在《分词与无噪声通道》(Zouhar et al., 2023a) 中，Rényi 效率被建议作为评估分词器的内在机制：对于 NLP 任务，应选择能使 unigram 分布的 Rényi 效率最高的分词器。因此，Rényi 效率被视为下游性能的预测指标（例如，预测机器翻译任务的 BLEU 分数），而无需进行使用不同分词器训练多个模型的昂贵步骤。尽管很有用，但该指标的预测能力并不完美，作者指出优秀的分词方案还具有 Rényi 效率无法单独捕获的额外品质。我们描述了 BPE 分词的两种变体，它们可以任意提高 Rényi 效率，同时降低下游模型性能。这些反例暴露了 Rényi 效率作为内在分词指标失效的情况，从而为构建更准确的预测器提供了见解。
引用
@article{arxiv.2402.14614,
title = {Two Counterexamples to Tokenization and the Noiseless Channel},
author = {Marco Cognetta and Vilém Zouhar and Sangwhan Moon and Naoaki Okazaki},
journal= {arXiv preprint arXiv:2402.14614},
year = {2024}
}
备注
9 pages, 2 figures, to appear in LREC-COLING 2024, de-texified metadata