中文

编辑距离及其在研究和商业场景下游任务中的应用

计算与语言 2024-10-10 v1

摘要

本教程描述了编辑距离在研究及商业场景中的应用概念。我们使用翻译编辑率(TER)、Levenshtein、Damerau-Levenshtein、最长公共子序列和 nn-gram 距离来展示统计指标在比较文本序列时的脆弱性。我们的讨论将这些指标分解为其基本组成部分。我们讨论了四种编辑操作的核心地位:插入、删除、替换和移动单词,并展示了它们在公开可用的包和工具包中的实现。编辑距离在下游任务中的应用通常假设它们准确地代表了后期编辑者所做的工作以及机器翻译输出中需要纠正的真实错误。我们讨论了编辑距离在捕捉这种纠错工作细节方面的不完善之处,以及这些编辑距离的使用对研究人员和商业应用的影响。在商业应用方面,我们讨论了它们在计算机辅助翻译工具中的集成,以及编辑距离与后期编辑工作量之间联系的认知如何影响翻译人员的费率定义。

关键词

引用

@article{arxiv.2410.05881,
  title  = {Edit Distances and Their Applications to Downstream Tasks in Research and Commercial Contexts},
  author = {Félix do Carmo and Diptesh Kanojia},
  journal= {arXiv preprint arXiv:2410.05881},
  year   = {2024}
}

备注

Tutorial @ 16th AMTA Conference, 2024