中文

可能有间隙的直方图的复杂性及直方图分析(ANOHT)

统计方法学 2017-11-15 v3

摘要

在不对一维数据集的分布密度做不切实际的连续性和平滑性假设的情况下,构建真实的可能有间隙的直方图变得相当复杂。候选集成通过两层伊辛模型描述,其规模被证明呈指数增长。这种指数复杂性使得任何穷举搜索不可行,且所有边界参数都是局部的。对于通过均匀性进行的数据压缩,解码误差准则几乎与样本量无关。这些特性使统计模型选择技术(如最小描述长度(MDL))失效。尽管如此,实用且近乎最优的解可通过算法计算。设计了一种数据驱动算法,沿层次聚类树的分支层次结构构建此类直方图。所得直方图自然地展现了数据的物理信息内容:箱边界的确定性结构与每个箱内均匀性的随机结构相结合。在不强加不切实际的正态性和常数方差假设的情况下,设计了可能有间隙直方图的一种应用,称为直方图分析(ANOHT),以替代方差分析(ANOVA)。其潜在应用预见于数字重归一化方案以及异构数据类型特征间的关联模式提取。因此,构建可能有间隙的直方图成为通过探索性数据分析和无监督机器学习进行知识发现的先决条件。

关键词

引用

@article{arxiv.1702.05879,
  title  = {Complexity of Possibly-gapped Histogram and Analysis of Histogram (ANOHT)},
  author = {Fushing Hsieh and Tania Roy},
  journal= {arXiv preprint arXiv:1702.05879},
  year   = {2017}
}