Delta Tensor：在 Delta Lake 中实现高效的向量和张量存储
分布式、并行与集群计算
2024-05-14 v3 数据库
机器学习
摘要
人工智能（AI）和机器学习（ML）应用的指数级增长 necessitates 开发高效的向量和张量数据存储解决方案。本文提出了一种 novel 方法，用于 Delta Lake 架构中的张量存储。通过采用数组数据库中的多维数组存储策略和稀疏编码方法至 Delta Lake 表，实验表明，该方法在空间和时间效率方面均优于传统张量序列化方法。这些结果为开发和实现面向数据密集型应用的优化向量和张量存储解决方案提供了宝贵的见解，推动了云原生环境下 AI 和 ML 领域高效数据管理实践的演进。
关键词
引用
@article{arxiv.2405.03708,
title = {Delta Tensor: Efficient Vector and Tensor Storage in Delta Lake},
author = {Zhiwei Bao and Liu Liao-Liao and Zhiyu Wu and Yifan Zhou and Dan Fan and Michal Aibin and Yvonne Coady and Andrew Brownsword},
journal= {arXiv preprint arXiv:2405.03708},
year = {2024}
}