在建构复杂性上进行微调：DeBERTa上的PIIBench广泛覆盖PII检测
计算与语言
2026-05-26 v1 人工智能
摘要
个人可识别信息 (PII) 检测系统通常在狭窄的来源或域边界内训练，限制了其在异构文本上的部署覆盖。我们研究在纠正后的多来源PIIBench准备上进行模型微调，涵盖82种保留实体类型，跨越十个来源数据集。我们评估了三种基于DeBERTa的方法：直接标记分类微调、源条件分层模型 (SC+H) 和三阶段课程扩展 (SC+H+Curr)。在针对5,000条记录的 held-out子集(test_5k)上的八个已发布比较系统中，直接微调的DeBERTa实现F1 0.6476，而SC+H和课程变体分别达到0.5899和0.2772；最强的已发布比较器仅达到0.1723。由于初始验证偏好SC+H，我们在完整的100,002条记录的 hold-out split上执行最终的流式评估。直接微调仍然优于SC+H，在F1上分别达到0.6455和0.5894。实体级别分析显示，直接微调在54个82个细粒度实体类型中获胜，并在所有十个粗粒度组中获胜，按支持加权实体F1计，而SC+H保留了在28个类型上的局部优势。结果表明，多样化的任务特定训练数据和简单的加权交叉熵目标对广泛覆盖的PII检测贡献大于测试的建构复杂性和课程复杂性。
引用
@article{arxiv.2605.25816,
title = {Fine-Tuning Over Architectural Complexity: Broad-Coverage PII Detection on PIIBench with DeBERTa},
author = {Pritesh Jha},
journal= {arXiv preprint arXiv:2605.25816},
year = {2026}
}