基于闭式求解器的对抗表示学习
机器学习
2021-09-14 v1
摘要
对抗表示学习旨在为目标任务学习数据表示，同时去除不需要的敏感信息。现有方法通过随机梯度下降-上升迭代地学习模型参数，这在实际中往往不稳定且不可靠。为克服该挑战，我们采用闭式求解器处理对抗者与目标任务。我们将它们建模为核岭回归器，并解析地确定了表示最优维数的上界。我们的方案称为 OptNet-ARL，可归约为一个稳定的单步优化问题，能够可靠且高效地求解。OptNet-ARL 可轻易推广到多目标任务与多敏感属性的情形。在小型与大型数据集上的数值实验表明，从优化角度看，OptNet-ARL 稳定且展现出三到五倍的更快收敛。在性能方面，当目标与敏感属性相关时，OptNet-ARL 学到的表示在（a）公平分类的效用与偏差之间以及（b）通过缓解私有信息泄露的效用与隐私之间，比现有方案提供了更好的权衡前沿。
引用
@article{arxiv.2109.05535,
title = {Adversarial Representation Learning With Closed-Form Solvers},
author = {Bashir Sadeghi and Lan Wang and Vishnu Naresh Boddeti},
journal= {arXiv preprint arXiv:2109.05535},
year = {2021}
}