基于 Rademacher 随机投影与张量网络的方法
机器学习
2022-02-04 v3 机器学习
摘要
随机投影（RP）近期因其在降低极高维张量维度方面的能力，在机器学习领域作为流行技术崭露头角。继文献[30]的工作，我们考虑一种依赖于张量列（TT）分解的张量化随机投影，其中核心张量的每个元素从 Rademacher 分布中抽取。我们的理论结果表明，文献[30]中以 TT 格式压缩形式表示的低秩高斯张量，可被核心元素从 Rademacher 分布抽取的 TT 张量所替代，且嵌入维度相同。在合成数据上的实验表明，张量化的 Rademacher RP 可以优于文献[30]中研究的张量化高斯 RP。此外，我们从理论和实验上均表明，矩阵乘积算子（MPO）格式下的张量化 RP 不是 Johnson-Lindenstrauss 变换（JLT），因此并非合适的随机投影映射。
引用
@article{arxiv.2110.13970,
title = {Rademacher Random Projections with Tensor Networks},
author = {Beheshteh T. Rakhshan and Guillaume Rabusseau},
journal= {arXiv preprint arXiv:2110.13970},
year = {2022}
}