金子并非总是闪光:线性与非线性受保护属性信息的谱移除
计算与语言
2023-04-21 v4 机器学习
摘要
我们描述了一种简单而有效的方法(谱属性移除,SAL)以从神经表示中移除私有或受保护信息。我们的方法使用矩阵分解将输入表示投影到与受保护信息协方差减小而非像分解方法通常所做的协方差最大的方向上。我们从线性信息移除开始,并将算法推广到使用核的非线性信息移除情形。我们的实验表明,与先前工作相比,我们的算法在移除受保护信息后保留了更好的主任务性能。此外,实验表明我们仅需相对较少的受保护属性数据即可移除关于这些属性的信息,这降低了对敏感数据的暴露,更适用于低资源场景。代码见 https://github.com/jasonshaoshun/SAL。
引用
@article{arxiv.2203.07893,
title = {Gold Doesn't Always Glitter: Spectral Removal of Linear and Nonlinear Guarded Attribute Information},
author = {Shun Shao and Yftah Ziser and Shay B. Cohen},
journal= {arXiv preprint arXiv:2203.07893},
year = {2023}
}
备注
Accepted to the Conference of the European Chapter of the Association for Computational Linguistics (EACL), 2023; 12 pages (minor formatting corrections)