面向现代 NLP 流水线的文本归一化任务导向评估框架
计算与语言
2025-11-26 v1
摘要
文本归一化是许多自然语言处理 (NLP) 任务中不可或缺的预处理步骤，屈折是其中一种归一化技术，可将单词还原为其基本或根形式。然而，评估屈折方法具有挑战性，因为当前的评估方法有限，无法捕捉过度屈折可能造成的负面影响；因此，确切地开发新的评估方法至关重要。为此，本研究提出了一种新颖的、以任务为导向的评估屈折方法的框架，该框架考虑三个方面：(1) 使用屈折有效性评分 (SES) 衡量屈折的实用性；(2) 使用模型性能偏差 (MPD) 衡量屈折对下游任务的影响；(3) 使用平均归一化 Levenshtein 距离 (ANLD) 衡量屈折后单词与原始单词之间的语义相似性，从而提供全面的评估框架。我们将评估框架应用于比较孟加拉语 (BNLTK) 和英语 (Snowball) 的两种屈折器，结果显示出显著问题，促使我们详细分析其性能。虽然孟加拉语屈折器由于有效的单词还原 (CR = 1.90) 实现最高的 SES (1.67)，但 SES 单独不足够，因为我们提出的安全措施 ANLD (ANLD = 0.26) 显示，这一高 SES 源于有害的过度屈折 (ANLD = 0.26)，这与下游性能下降观察到的现象相关。在 contrast 中，英语屈折器实现适中的 SES (1.31) ，且语义距离安全 (ANLD = 0.14)，使其单词还原能够正面贡献于下游性能；因此，它是一个更可靠的屈折器。我们的研究提供了一个有价值的工具，用于区分潜在的效率收益 (高 SES) 和意义保持 (低 ANLD) 之间的差异。
引用
@article{arxiv.2511.20409,
title = {A Task-Oriented Evaluation Framework for Text Normalization in Modern NLP Pipelines},
author = {Md Abdullah Al Kafi and Raka Moni and Sumit Kumar Banshal},
journal= {arXiv preprint arXiv:2511.20409},
year = {2025}
}