PerturbScore：连接自然语言处理中的离散与连续扰动
计算与语言
2023-10-16 v1
摘要
随着神经网络在 NLP 中应用的快速发展，模型鲁棒性问题受到更多关注。与计算机视觉不同，文本的离散特性使得探索 NLP 中的鲁棒性更具挑战。因此，本文旨在连接离散扰动与连续扰动，从而可利用此类连接作为桥梁，帮助理解 NLP 模型中的离散扰动。具体而言，我们首先探索如何连接并度量离散扰动与连续扰动之间的相关性，随后设计了一个回归任务作为 PerturbScore 来自动学习该相关性。实验结果表明，我们能在离散与连续扰动间建立连接，并使用所提 PerturbScore 学习该相关性，超越了以往用于离散扰动度量的方法。进一步，所提 PerturbScore 可良好泛化至不同数据集与扰动方法，表明我们可将其作为研究 NLP 中模型鲁棒性的有力工具。
引用
@article{arxiv.2310.08889,
title = {PerturbScore: Connecting Discrete and Continuous Perturbations in NLP},
author = {Linyang Li and Ke Ren and Yunfan Shao and Pengyu Wang and Xipeng Qiu},
journal= {arXiv preprint arXiv:2310.08889},
year = {2023}
}
备注
Accepted by Findings of EMNLP2023