线性与非线性充分维数归约的 Belt 型与集成神经网络
机器学习
2025-06-23 v2 机器学习
统计理论
统计理论
摘要
我们提出了一种统一、灵活且易于实现的充分维数归约框架,可容纳线性和非线性维数归约,以及条件分布和条件均值作为估计目标。通过一种特殊结构的神经网络实现了这一统一框架——Belt 型与集成神经网络 (BENN),其由窄的潜在层(称为belt)和一组response变换组成(称为ensemble)。通过在神经网络的不同层 strategically placement belt,我们可以实现线性或非线性充分维数归约;通过选择合适的变换族,我们可以实现针对条件分布或条件均值的维数归约。此外,由于神经网络的优势,该方法计算速度非常快,克服了传统充分维数估计器的计算瓶颈,这些估计器涉及维度为 p 或 n 的矩阵逆转。我们发展了该方法的算法和收敛率,与现有的充分维数方法进行比较,并应用于两个数据示例。
引用
@article{arxiv.2412.08961,
title = {Belted and Ensembled Neural Network for Linear and Nonlinear Sufficient Dimension Reduction},
author = {Yin Tang and Bing Li},
journal= {arXiv preprint arXiv:2412.08961},
year = {2025}
}
备注
35 pages, 4 figures, 1 table