监测天气、声景与动力系统的形状：面向大数据集维度驱动数据分析的一种新统计量

降维方法是大数据分析中的基本工具。这些算法基于这样的假设：数据的“内在维度”通常远小于采集其所处的环境维度。除其通常的将数据进行最小信息损失映射至更小维度的目的外，降维技术隐式或显式地提供关于数据集维度的信息。在本文中，我们提出一种称为 $\kappa$-剖面（$\kappa$-profile）的新统计量用于大数据分析。$\kappa$-剖面源于一个降维优化问题：即寻找一个投影到 $k$ 维以最优保持数据集中点间弦的问题。从该最优投影中我们提取 $\kappa$，即所有归一化弦集合中最短投影弦的范数。该 $\kappa$ 可对任何 $k$ 计算；因此 $\kappa$ 值元组（按维度索引）成为 $\kappa$-剖面。诸如弦回避投影算法与层次弦回避投影算法等算法，为大数据集的 $\kappa$-剖面估计提供了计算可行手段，从而成为一种理解并监测其行为的方法。如我们在本文中所展示，$\kappa$-剖面在若干代表性场景中作为有用统计量：天气数据、声景数据与动力系统数据。