对敏感特征推断 MMSE 的下界
机器学习
2025-05-15 v1 机器学习
摘要
我们提出了一个基于最小均方误差（MMSE）估计的敏感特征推断对抗评估框架，考虑有限样本大小和线性预测模型。该方法在理论上建立了从带噪声的其他相关特征推断敏感特征的真实MMSE下界。这些下界以受限制假设类下的经验MMSE和一个非负误差项表示。该误差项捕捉了由于有限样本数导致的估计误差以及使用受限制假设类导致的逼近误差。对于线性预测模型，我们推导了闭式下界，在噪声方差上的近似误差在包括线性映射、二进制对称信道和类条件多元正态分布的几类特征之间关系上达到了阶最优。我们还提出了一个新下界，依赖于在有限样本和受限制假设类下学习的MMSE估计器在留出验证数据集上的MSE。通过实证评估，我们展示了我们的框架作为MMSE-based对抗评估敏感特征推断的有效工具，能够在理论保证与实际效率之间取得平衡。
引用
@article{arxiv.2505.09004,
title = {Lower Bounds on the MMSE of Adversarially Inferring Sensitive Features},
author = {Monica Welfert and Nathan Stromberg and Mario Diaz and Lalitha Sankar},
journal= {arXiv preprint arXiv:2505.09004},
year = {2025}
}
备注
submitted to IEEE Transactions on Information Theory