最优维数下的哈希嵌入及其在线性最小二乘中的应用
数值分析
2021-05-26 v1 数值分析
最优化与控制
机器学习
摘要
本文目的有二:其一,给出 -哈希草图矩阵()的子空间嵌入性质,其在草图投影维数 上是最优的,即 ,其中 为子空间维数。我们给出了一系列结果,处理了以下情形:输入矩阵具有足够低相干性(从而去除了 Bourgain 等人(2015)低相干结果中 对 因子的依赖,代价是更弱的相干性要求);该相干性如何随列非零元个数 变化(允许相干性上界按 缩放);或通过适当变换降低相干性(考虑哈希——而非子采样——的相干性降低变换,如随机 Hadamard 变换)。其二,我们将这些一般哈希草图结果应用于线性最小二乘(LLS)这一特例,并开发了针对此类问题的通用软件包 Ski-LLS,它在稠密输入上基于并改进了 Blendenpik 求解器,在稀疏问题上改进了(串行)LSRN 性能。除哈希草图改进外,我们增添了适用于秩亏与稀疏问题的合适线性代数工具,使得 Ski-LLS 不仅在随机生成输入上优于基于草图的例程,而且在某些稀疏 Florida 矩阵集合(即显著超定、或中等稀疏、或难解的二乘问题)上优于最先进的直接求解器 SPQR 与迭代代码 HSL。
引用
@article{arxiv.2105.11815,
title = {Hashing embeddings of optimal dimension, with applications to linear least squares},
author = {Coralia Cartis and Jan Fiala and Zhen Shao},
journal= {arXiv preprint arXiv:2105.11815},
year = {2021}
}