针对使用文本嵌入的排序算法的攻击：以招聘算法为例
计算与语言
2022-01-11 v1 机器学习
摘要
近来，一些研究表明文本分类任务易受投毒攻击和规避攻击。然而，针对使用文本嵌入且其输出为排序结果的决策算法的攻击鲜有研究。本文关注招聘流程中的排序算法，这类算法利用文本嵌入将求职者简历与职位描述进行比较并排序。我们展示了白盒与黑盒攻击，可识别在嵌入空间中因其位置而对提升简历与职位描述之间相似度分数有显著贡献的文本项。随后，攻击者利用这些文本项提升其简历在他人中的排名。我们测试了使用来自 Universal Sentence Encoder (USE) 和 Term Frequency Inverse Document Frequency (TF IDF) 向量的相似度分数的招聘算法。结果表明，在这两种对抗设定下，攻击者在平均意义上均成功。我们还发现，针对 TF IDF 的攻击比针对 USE 的更为成功。
引用
@article{arxiv.2108.05490,
title = {Attacks against Ranking Algorithms with Text Embeddings: a Case Study on Recruitment Algorithms},
author = {Anahita Samadi and Debapriya Banerjee and Shirin Nilizadeh},
journal= {arXiv preprint arXiv:2108.05490},
year = {2022}
}