中文

使用最大熵编码的分布外检测

信息论 2024-04-29 v1 机器学习 math.IT

摘要

给定一个默认分布PP和一组测试数据xM={x1,x2,,xM}x^M=\{x_1,x_2,\ldots,x_M\},本文旨在回答xMx^M是否可能由PP生成的问题。对于离散分布,原则上由Kolmogorov-Martin-L\"{o}f随机性给出明确答案。本文旨在将此推广到连续分布。我们考虑一组统计量T1(xM),T2(xM),T_1(x^M),T_2(x^M),\ldots。对每个统计量,我们关联其最大熵分布,并由此关联一个通用信源编码器。随后将最大熵分布组合起来,给出总码长,并与logP(xM)-\log P(x^M)进行比较。我们证明这种方法满足若干理论性质。对于真实世界数据,PP通常是未知的。我们使用双向生成网络将数据转换到潜在空间中的标准分布,并在那里使用最大熵编码。我们将所得方法与其他也使用生成神经网络检测异常的方法进行比较。在大多数情况下,我们的结果显示更好的性能。

关键词

引用

@article{arxiv.2404.17023,
  title  = {Out-of-Distribution Detection using Maximum Entropy Coding},
  author = {Mojtaba Abolfazli and Mohammad Zaeri Amirani and Anders Høst-Madsen and June Zhang and Andras Bratincsak},
  journal= {arXiv preprint arXiv:2404.17023},
  year   = {2024}
}