InfoShape：通过互信息实现基于任务的神经数据塑形
信息论
2023-06-06 v3 math.IT
摘要
由于在实践中难以估计，使用互信息作为私有数据共享工具一直是一个开放的挑战。在本文中，我们提出了InfoShape，这是一种基于任务的编码器，旨在从训练数据中移除不必要的敏感信息，同时为特定的机器学习训练任务保留足够的相关信息。我们通过利用基于神经网络的互信息估计器来衡量两个性能指标：隐私性和效用性，从而实现这一目标。在拉格朗日优化中同时使用这两个指标，我们训练一个单独的神经网络作为有损编码器。我们通过实验证明，InfoShape能够将编码后的样本塑形为对特定下游任务具有信息性，同时消除不必要的敏感信息。此外，我们证明了下游模型的分类准确率与我们的效用性和隐私性度量之间存在有意义的联系。
引用
@article{arxiv.2210.15034,
title = {InfoShape: Task-Based Neural Data Shaping via Mutual Information},
author = {Homa Esfahanizadeh and William Wu and Manya Ghobadi and Regina Barzilay and Muriel Medard},
journal= {arXiv preprint arXiv:2210.15034},
year = {2023}
}
备注
5 pages, IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)