基于交叉熵诠释的 Rényi 熵用于 α-泄漏
信息论
2024-01-30 v1 math.IT
摘要
本文通过对 Rényi 熵的交叉熵诠释,提出了一种针对 α∈[0,∞) 的 α-泄漏度量。虽然 Rényi 熵最初被定义为 f(t) = exp((1-α)t) 的 f-均值,但我们揭示了它也是对于 f̃(t) = exp((1-α)/α t) 的 f̃-均值交叉熵度量。最小化此 Rényi 交叉熵即可得到 Rényi 熵,据此可分别定义对应于数据发布前后敌手对敏感属性知识增益的先验和后验不确定性度量。所提出的 α-泄漏是先验与后验不确定性度量的 f̃-均值之差,这恰好是 Arimoto 互信息。这不仅以有充分依据的方式将现有的 α-泄漏从 α ∈ [1,∞) 扩展到整个 Rényi 阶数范围 α ∈ [0,∞)(其中 α=0 指代非随机泄漏),而且还揭示了现有的最大泄漏是对于所有 α ∈ [0,∞) 的基本 α-泄漏的 f̃-均值,从而推广了现有的逐点最大泄漏。
引用
@article{arxiv.2401.15202,
title = {A Cross Entropy Interpretation of R{\'{e}}nyi Entropy for $\alpha$-leakage},
author = {Ni Ding and Mohammad Amin Zarrabian and Parastoo Sadeghi},
journal= {arXiv preprint arXiv:2401.15202},
year = {2024}
}
备注
7 pages; 1 figure