度量度量工具：文本语料库语义度量指标的自动评估
计算与语言
2022-11-30 v1
摘要
比较文本语料库之间语义相似性的能力在多种自然语言处理应用中十分重要。然而，评估这些度量的标准方法尚待建立。我们提出一组自动且可解释的测度，用于评估语料库级语义相似性度量的特性，从而对其行为进行合理比较。我们通过在一系列经典与最先进(state-of-the-art, SOTA)度量上展开评估，展示了我们所提评估测度在捕捉基本特性方面的有效性。我们的测度揭示，近期开发的度量在识别语义分布失配方面表现更优，而经典度量对表层文本层面的扰动更为敏感。
引用
@article{arxiv.2211.16259,
title = {Measuring the Measuring Tools: An Automatic Evaluation of Semantic Metrics for Text Corpora},
author = {George Kour and Samuel Ackerman and Orna Raz and Eitan Farchi and Boaz Carmeli and Ateret Anaby-Tavor},
journal= {arXiv preprint arXiv:2211.16259},
year = {2022}
}
备注
Published at GEM (https://gem-benchmark.com/workshop) workshop at the Empirical Methods in Natural Language Processing (EMNLP) conference in 2022