中文

GNAT:一种通用叙事对齐工具

计算与语言 2023-11-08 v1

摘要

算法序列对齐用于识别文档对之间共享的相似片段,是许多 NLP 任务的基础。但对于译本与复述等差异较大的叙事版本,尤其是比原小说短得多的摘要与节本,难以识别其相似性。我们开发了一种将生物信息学中的 Smith-Waterman 算法与现代文本相似度度量相结合的通用叙事对齐方法。我们表明,对齐分数的背景符合 Gumbel 分布,从而能够对任意对齐的显著性定义严格的 p 值。我们将所提出的通用叙事对齐工具(GNAT)应用于四个截然不同的问题领域并进行评估,这些领域在文档的相对与绝对长度上差异巨大,即摘要到书籍对齐、翻译书籍对齐、短篇故事对齐以及剽窃检测——展示了我们方法的效力与性能。

关键词

引用

@article{arxiv.2311.03627,
  title  = {GNAT: A General Narrative Alignment Tool},
  author = {Tanzir Pial and Steven Skiena},
  journal= {arXiv preprint arXiv:2311.03627},
  year   = {2023}
}

备注

17 pages, 5 figures, 8 tables