基于快速计数草图的高效张量收缩
机器学习
2021-06-25 v1
摘要
草图技术利用随机化哈希函数进行降维与加速。现有草图方法，如计数草图（CS）、张量草图（TS）和高阶计数草图（HCS），在部分基于张量的应用中或精度不足或速度较慢。本文提出的快速计数草图（FCS）将基于 CS 的多个较短哈希函数应用于输入张量的向量形式，由于能更充分地保留输入张量的空间信息，比 TS 更精确。当输入张量允许 CANDECOMP/PARAFAC 分解（CPD）时，FCS 可利用快速傅里叶变换加速 CS 和 HCS，其对低阶张量展现出的计算复杂度渐近等同于 TS。FCS 的有效性通过 CPD、张量回归网络压缩和 Kronecker 积压缩得到验证。实验结果表明其在逼近精度与计算效率方面的优越性能。
引用
@article{arxiv.2106.13062,
title = {Efficient Tensor Contraction via Fast Count Sketch},
author = {Xingyu Cao and Jiani Liu},
journal= {arXiv preprint arXiv:2106.13062},
year = {2021}
}