诊断 NER 模型扩展中的表示动态
计算与语言
2025-10-24 v2 人工智能
摘要
将命名实体识别（NER）模型扩展到噪声 spoken-language 数据中的新型个人可识别信息（PII）实体是常见需求。我们发现，联合在标准语义实体（PER、LOC、ORG）和新型基于模式的 PII（EMAIL、PHONE）上微调 BERT 模型后，原有类别几乎不会产生明显退化。我们调查这种“和平共存”现象，假设模型使用独立的语义与形态特征机制。通过递增学习设置作为诊断工具，我们测量语义漂移，发现两个关键洞察：第一，LOC（地点）实体因其表示与新型 PII 存在重叠而独特易受影响，因为它共享类似模式的特征（例如邮政编码）。第二，我们识别出一种“逆向 O 标签表示漂移”。最初时，模型将 PII 模式映射到 'O' 标签，从而阻碍了新学习。只有解除 'O' 标签分类器的冻结，背景类别才能适应，从而“释放”这些模式。本工作提供了 NER 模型适应性机理诊断，突出特征独立性、表示重叠以及 'O' 标签的可塑性。本项工作基于来自 https://www.papernest.com 收集的数据完成。
引用
@article{arxiv.2510.17930,
title = {Diagnosing Representation Dynamics in NER Model Extension},
author = {Xirui Zhang and Philippe de La Chevasnerie and Benoit Fabre},
journal= {arXiv preprint arXiv:2510.17930},
year = {2025}
}