基于多臂老带机的词汇灵敏度估计框架及其在对抗文本生成中的应用
计算与语言
2025-02-12 v1
摘要
为理解序列分类任务的复杂性，Hahn 等人（2021）提出了灵敏度的概念，即输入序列中可以单独更改以改变输出的互不相同的子集的数量。虽然该方法有效，但由于指数级时间复杂度，在大规模上计算灵敏度代价较高。因此，我们引入了基于灵敏度的多臂老带机框架（SMAB），该框架为任何数据集中 underlying 文本分类器提供计算词级别局部（句级别）和全局（聚合）灵敏度的可扩展方法。我们通过各种应用验证了该方法的有效性。在 CHECKLIST 生成的情感分析数据集上进行案例研究，显示我们的算法确实捕捉到了直观上具有高灵敏度和低灵敏度的词汇。通过在多个任务和语言上的实验，我们展示灵敏度可作为缺乏金标准数据时准确率的代理指标。最后，我们显示，通过灵敏度值引导对抗性示例的扰动提示，在对抗性文本生成中的攻击成功率提高了 15.58%，而将灵敏度作为额外奖励用于对抗性改写生成，则相较于 SOTA 方法提高了 12.00%。警告：包含可能冒犯内容。
引用
@article{arxiv.2502.07101,
title = {SMAB: MAB based word Sensitivity Estimation Framework and its Applications in Adversarial Text Generation},
author = {Saurabh Kumar Pandey and Sachin Vashistha and Debrup Das and Somak Aditya and Monojit Choudhury},
journal= {arXiv preprint arXiv:2502.07101},
year = {2025}
}