哪些操作可以直接在压缩数组上执行，以及误差是多少？
分布式、并行与集群计算
2024-06-18 v1 机器学习
摘要
为了应对由数据移动引起的大型矩阵和张量计算成本急剧上升的问题，人们开发了几种有损压缩方法来显著减少数据量。不幸的是，所有这些方法都要求在进一步计算之前将数据解压缩。在这项工作中，我们开发了一种有损压缩器，它允许直接在压缩数据上执行十几种相当基础的操作，同时提供良好的压缩比和适度的误差。我们基于熟悉的 GPU 驱动的 PyTorch 框架实现了一个新的压缩器 PyBlaz，并在三个非平凡的应用上对其进行了评估，为内部表示选择了不同的数字系统。我们的结果表明，压缩域操作在问题规模上实现了良好的可扩展性，同时产生的误差完全在可接受的范围内。据我们所知，这是第一个支持压缩域操作并同时实现可接受性能和误差的有损压缩器。
引用
@article{arxiv.2406.11209,
title = {What Operations can be Performed Directly on Compressed Arrays, and with What Error?},
author = {Tripti Agarwal and Harvey Dam and Dorra Ben Khalifa and Matthieu Martel and P. Sadayappan and Ganesh Gopalakrishnan},
journal= {arXiv preprint arXiv:2406.11209},
year = {2024}
}
备注
An extended but earlier version of paper in https://dl.acm.org/doi/10.1145/3624062.3625122 published at the DRBSD Workshop in 2023