命名实体识别系统的自动化测试与改进
计算与语言
2023-08-17 v1 软件工程
摘要
近年来，由于深度神经网络的发展，命名实体识别（NER）系统取得了快速进展。这些系统被广泛应用于各种自然语言处理应用中，如信息抽取、问答和情感分析。然而，深度神经网络的复杂性与难处理性可能使 NER 系统在某些情形下不可靠，从而导致错误的预测。例如，NER 系统可能将女性姓名误识别为化学品，或无法识别少数群体的名称，导致用户不满。为应对该问题，我们引入 TIN，一种用于自动测试与修复各类 NER 系统的新颖且广泛适用的方法。自动化测试的核心思想是：相同命名实体在相似上下文下的 NER 预测应当一致。自动修复的核心思想是：相似命名实体在相同上下文下应具有相同的 NER 预测。我们使用 TIN 测试了两个 SOTA NER 模型和两个不同的商业 NER API，即 Azure NER 和 AWS NER。我们人工验证了 TIN 报告的 784 个可疑问题，发现其中 702 个为错误问题，在四类 NER 错误（遗漏、过标注、类别错误和范围错误）上达到了高精度（85.0%-93.4%）。在自动修复方面，TIN 在四个被测系统上实现了较高的错误消减率（26.8%-50.6%），成功修复了报告的 1,877 个 NER 错误中的 1,056 个。
引用
@article{arxiv.2308.07937,
title = {Automated Testing and Improvement of Named Entity Recognition Systems},
author = {Boxi Yu and Yiyan Hu and Qiuyang Mang and Wenhan Hu and Pinjia He},
journal= {arXiv preprint arXiv:2308.07937},
year = {2023}
}
备注
Accepted by ESEC/FSE'23