高维函数型数据的快速协方差估计

针对协方差函数的平滑处理，我们提出了两种算法，其计算复杂度随每个函数的观测数量线性增长。大多数现有方法和软件无法平滑维度 $J \times J$（其中 $J>500$）的协方差矩阵；最近提出的 sandwich smoother 是一个例外，但它不适用于平滑 $J \ge 10,000$ 等大维度协方差矩阵。阶数为 $J=10,000$ 甚至 $J=100,000$ 的协方差矩阵正变得日益普遍，例如在二维和三维医学成像以及高密度可穿戴传感器数据中。我们引入了两种能够处理超大协方差矩阵的新算法：1) FACE：sandwich smoother 的快速实现；2) SVDS：一个两步过程，首先对数据矩阵应用奇异值分解，然后平滑特征向量。与现有技术相比，这些新算法在高维情况下的速度至少提高了一个数量级，并大幅降低了内存需求。新算法可实现 $J=10,000$ 维度矩阵的即时（几秒钟）平滑，以及 $J=100,000$ 维度矩阵的极快（$<$ 10 分钟）平滑。虽然 SVDS 比 FACE 更简单，但我们提供了即用型、可扩展的 FACE R 软件。当集成到 R 包 {\it refund} 中时，FACE 将惩罚函数型回归的速度提高了一个数量级，即使对于正常大小的数据（$J <500$）也是如此。我们建议在实际分析噪声大且高维的函数型数据时使用 FACE。