探索触发掩码语言模型基命名实体识别中记忆的提示策略
计算与语言
2024-05-07 v1 机器学习
摘要
训练数据记忆对语言模型的能力（泛化）和安全性（隐私风险）都有重要影响。本文聚焦于分析提示策略对检测掩码语言模型基命名实体识别模型记忆的影响。具体而言，我们采用 400 组自动生成的多样化提示，以及一组两两数据集，其中每组由训练集中的一个人名和集合外的另一个人名组成。使用由人名填充后的提示作为输入，可获取模型对该人名的预测置信度。最终通过衡量模型对训练集人名置信度高于集合外人名的人名对的比例来量化提示的检测性能。我们发现，不同提示在同一模型上的表现相差可达 16 个百分点，提示工程进一步扩大了这一差距。此外，我们的实验表明，提示性能对模型而言是敏感的，但在不同人名集合之间具有普遍性。综合分析表明，提示性能受提示属性、包含的标记以及模型对提示自注意力权重的影响程度的影响。
引用
@article{arxiv.2405.03004,
title = {Exploring prompts to elicit memorization in masked language model-based named entity recognition},
author = {Yuxi Xia and Anastasiia Sedova and Pedro Henrique Luz de Araujo and Vasiliki Kougia and Lisa Nußbaumer and Benjamin Roth},
journal= {arXiv preprint arXiv:2405.03004},
year = {2024}
}