学习视觉文本扰动的易读性
计算与语言
2023-03-14 v2 计算机视觉与模式识别
摘要
NLP 中的许多对抗攻击扰动输入以生成视觉上相似的字符串（'ergo' 'rgo'），这些字符串人类可读但会降低模型性能。尽管保持易读性是文本扰动的必要条件，但系统性刻画它的工作很少；相反，易读性通常通过对扰动性质和程度的直觉松散地强制实现。尤其不清楚的是：在保持易读性的前提下输入可被扰动到何种程度，或如何量化扰动字符串的易读性。本工作中，我们填补这一空白，通过学习预测扰动字符串易读性并根据易读性对候选扰动排序的模型。为此，我们收集并发布了 LEGIT，一个包含视觉扰动文本易读性人工标注的数据集。使用该数据集，我们构建了基于文本和基于视觉的模型，在预测输入是否易读上取得最高 的 F1 分数，在预测两个给定扰动中哪个更易读上取得 的准确率。此外，我们发现 LEGIT 数据集中易读的扰动比已知最佳攻击策略更能有效降低 NLP 模型性能，表明当前模型可能易受超出已有视觉攻击范围的广泛扰动影响。数据、代码和模型发布于 https://github.com/dvsth/learning-legibility-2023。
引用
@article{arxiv.2303.05077,
title = {Learning the Legibility of Visual Text Perturbations},
author = {Dev Seth and Rickard Stureborg and Danish Pruthi and Bhuwan Dhingra},
journal= {arXiv preprint arXiv:2303.05077},
year = {2023}
}
备注
14 pages, 7 figures. Accepted at EACL 2023 (main, long)