面向真实对话文本的轻量级语言模型 PII 掩码比较研究及其部署
机器学习
2025-12-23 v1 人工智能
摘要
自动掩码个人可识别信息（PII）是保护对话系统隐私的关键。虽然当前主流大型语言模型在 PII 掩码任务上表现出强功力，但关于数据处理和计算成本的担忧促使我们探讨轻量级模型是否能够实现相当的性能。我们通过在 AI4Privacy 基准数据集上微调 T5-small 和 Mistral-Instruct-v0.3 来比较 encoder-decoder 与 decoder-only 架构。我们创建不同的 dataset 变体以研究标签标准化和 PII 表示，覆盖 24 个标准化 PII 类别和更高细粒度设置。使用实体级和字符级指标、类型准确率以及 exact match 进行评估，结果显示两种轻量级模型在 PII 掩码任务上达到与主流 LLM 相当的性能。标签规范化在各种架构下均一致性地提升性能。Mistral 在 F1 和召回率方面取得更高分数并在 PII 类型上表现出更强鲁棒性，但计算延迟显著更高。T5 虽在对话文本中不够稳健，但提供更可控的结构化输出并具备更低的推理成本，这激励我们将其用于 Discord 机器人中实现真实世界的 PII 红act。对 live 消息的评估揭示，在非正式输入下性能会下降。这一研究澄清了准确性、鲁棒性与计算效率之间的权衡，表明轻量级模型能够在解决主流 LLM 数据处理担忧的同时提供有效的 PII 掩码。
引用
@article{arxiv.2512.18607,
title = {The Interaction Bottleneck of Deep Neural Networks: Discovery, Proof, and Modulation},
author = {Huiqi Deng and Qihan Ren and Zhuofan Chen and Zhenyuan Cui and Wen Shen and Peng Zhang and Hongbin Pei and Quanshi Zhang},
journal= {arXiv preprint arXiv:2512.18607},
year = {2025}
}