中文

基于 Fisher 信息的分布式估计 $L_q$ 下界

信息论 2024-04-30 v2 math.IT 统计理论 统计理论

摘要

Van Trees 不等式,也称为贝叶斯 Cramér-Rao 下界,是通过 Fisher 信息建立极小极大估计下界的有力工具。它很容易适应不同的统计模型,并且通常产生紧致的下界。最近,其应用已扩展到具有隐私和通信约束的分布式估计中,在平方 L2L_2 损失下,它为各种参数任务产生了阶数最优的极小极大下界。然而,Van Trees 不等式被普遍认为的一个缺点是它仅限于平方 L2L_2 损失。本文的目的是通过引入 Van Trees 不等式的强化版本来消除这种观念,该强化版本基于 Efroimovich 不等式(一种可追溯至 1970 年代的鲜为人知的熵不等式)适用于一般的 LqL_q 损失函数。然后,我们应用广义 Van Trees 不等式来界定通信和局部差分隐私约束下分布式极小极大估计中的 LqL_q 损失。这导出了适用于顺序交互和黑板通信协议的 LqL_q 损失下界。此外,我们展示了如何使用广义 Van Trees 不等式来获得局部和非渐近的极小极大结果,这些结果捕捉了在有限样本量下估计每个实例的困难程度。

关键词

引用

@article{arxiv.2402.01895,
  title  = {$L_q$ Lower Bounds on Distributed Estimation via Fisher Information},
  author = {Wei-Ning Chen and Ayfer Özgür},
  journal= {arXiv preprint arXiv:2402.01895},
  year   = {2024}
}