中文

论可疑巧合与逐点互信息

机器学习 2023-03-03 v3 信息论 math.IT

摘要

Barlow(1985)假设,若 P(A,B)P(A)P(B)P(A,B) \gg P(A) P(B),则两个事件 AABB 的共现是"可疑的"。我们首先回顾 2×22 \times 2 列联表的经典关联度量,包括 Yule 的 YY(Yule, 1912),它仅依赖于优势比 λ\lambda,且独立于表的边际概率。随后我们讨论互信息(MI)和逐点互信息(PMI),它们依赖于比值 P(A,B)/P(A)P(B)P(A,B)/P(A)P(B),作为关联度量。我们表明,一旦移除边际的影响,MI 和 PMI 作为 λ\lambda 的函数,其行为与 YY 相似。逐点互信息在一些研究群体中被广泛用于标记可疑巧合,但重要的是要牢记 PMI 对边际的敏感性,对于更稀疏的事件其得分会升高。

关键词

引用

@article{arxiv.2203.08089,
  title  = {On Suspicious Coincidences and Pointwise Mutual Information},
  author = {Christopher K. I. Williams},
  journal= {arXiv preprint arXiv:2203.08089},
  year   = {2023}
}

备注

9 pages, 1 figure. Addendum added March 2023