度量对抗数据集
机器学习
2023-11-08 v1 计算与语言
人机交互
摘要
在 AI 系统于各领域被公众广泛使用的时代,确保对抗鲁棒性对于维持安全并防止不良错误已变得愈发关键。研究者已策划了多种(通过扰动生成的)对抗数据集,以捕捉标准基准数据集中无法暴露的模型缺陷。然而,关于这些对抗样本与原始数据点有何不同知之甚少,且仍缺乏度量那些对抗变换的预期与非预期后果的方法论。本研究中,我们对现有可量化描述 NLP 任务中文本实例的度量指标进行了系统调研,涵盖难度、多样性和不一致性维度。我们选取了若干当前的对抗效应数据集,并比较了原始数据与其对抗对应数据之间的分布。结果从度量视角为这些数据集更具挑战性的成因及其是否符合底层假设提供了有价值的洞察。
引用
@article{arxiv.2311.03566,
title = {Measuring Adversarial Datasets},
author = {Yuanchen Bai and Raoyi Huang and Vijay Viswanathan and Tzu-Sheng Kuo and Tongshuang Wu},
journal= {arXiv preprint arXiv:2311.03566},
year = {2023}
}
备注
ART of Safety workshop (AACL 2023)