优化交集之并 LASSO ($UoI_{LASSO}$) 与向量自回归 ($UoI_{VAR}$) 算法以实现大规模改进统计估计
机器学习
2018-08-22 v1 机器学习
摘要
对规模与复杂度日益增长的科学数据进行分析，需要既具可解释性又具预测性的统计机器学习方法。交集之并（UoI）是近期提出的一个框架，它是一种将模型选择与模型估计分离的两步法。基于 UoI 的线性回归算法 同时实现了低假阳性与低假阴性的特征选择以及低偏差与低方差的估计。这些性质共同使结果兼具预测性与可解释性。本文中，我们针对 NERSC 的 Cori Knights Landing（一款基于 Xeon Phi 的超级计算机）上的单节点执行优化了 算法。随后我们将 扩展到在 68 至 278,528 个核心上、针对不同数据集规模执行，展示了实现的弱缩放与强缩放。我们还实现了 的一个变体 ，用于向量自回归模型，以分析高维时间序列数据。我们对 进行了单节点优化与多节点缩放实验，以证明该算法在弱缩放与强缩放上的有效性。我们的实现能够估计我们所知最大的 VAR 模型（1000 个节点），并将其应用于大型神经生理学数据（192 个节点）。
引用
@article{arxiv.1808.06992,
title = {Optimizing the Union of Intersections LASSO ($UoI_{LASSO}$) and Vector Autoregressive ($UoI_{VAR}$) Algorithms for Improved Statistical Estimation at Scale},
author = {Mahesh Balasubramanian and Trevor Ruiz and Brandon Cook and Sharmodeep Bhattacharyya and Prabhat and Aviral Shrivastava and Kristofer Bouchard},
journal= {arXiv preprint arXiv:1808.06992},
year = {2018}
}
备注
10 pages, 10 figures