NeuKron：稀疏可重排矩阵与张量的常数空间有损压缩
机器学习
2023-04-03 v2 社会与信息网络
摘要
许多真实世界数据自然表示为稀疏可重排矩阵，其行和列可任意排序（例如二部图的邻接矩阵）。以常规方式存储稀疏矩阵需要与非零元素数量成线性关系的空间，而稀疏矩阵的有损压缩（例如截断 SVD）通常需要与行数和列数成线性关系的空间。本工作中，我们提出 NeuKron，用于将稀疏可重排矩阵压缩为常数大小空间。NeuKron 使用具有常数个参数的循环神经网络推广克罗内克积。NeuKron 更新参数，使给定矩阵由该积近似，并对矩阵的行和列重排以促进近似。更新耗时与输入矩阵中非零元素数量成线性关系，且每个元素的近似可在对数时间内检索。我们还将 NeuKron 扩展至压缩稀疏可重排张量（例如多层图），其是矩阵的推广。通过在十个真实世界数据集上的实验，我们表明 NeuKron 具有：（a）紧凑性：在近似误差相似的情况下，所需空间比最佳竞争者小至多五个数量级；（b）准确性：在输出大小相似的情况下，近似误差比最佳竞争者小至多 10 倍；（c）可扩展性：成功压缩了具有超过 2.3 亿非零元素的矩阵。
引用
@article{arxiv.2302.04570,
title = {NeuKron: Constant-Size Lossy Compression of Sparse Reorderable Matrices and Tensors},
author = {Taehyung Kwon and Jihoon Ko and Jinhong Jung and Kijung Shin},
journal= {arXiv preprint arXiv:2302.04570},
year = {2023}
}
备注
Accepted to WWW 2023 - The Web Conference 2023