让在线草图哈希更快
机器学习
2020-10-13 v1 机器学习
摘要
数据依赖哈希方法在各种机器学习应用中已展现出良好的性能，能够从原始数据中学习低维表示。然而，它们仍面临若干障碍：首先，大多数现有哈希方法以批处理模式训练，导致训练流式数据效率低下。其次，在大数据环境下计算成本和内存消耗急剧增加，使训练过程陷入困境。第三，缺乏标注数据阻碍了模型性能的提升。为应对这些困难，我们利用在线草图哈希（OSH）并提出一种更快的在线草图哈希（FROSH）算法，通过独立变换以更紧凑的形式对数据进行草图化。我们提供了理论依据，保证所提 FROSH 在相同内存成本下比 OSH 消耗更少时间并达到可比的草图精度。我们还将 FROSH 扩展至其分布式实现，即 DFROSH，以进一步降低 FROSH 的训练时间成本，同时推导出草图精度的理论界。最后，我们在合成与真实数据集上进行了大量实验，以展示 FROSH 和 DFROSH 的显著优点。
引用
@article{arxiv.2010.04948,
title = {Making Online Sketching Hashing Even Faster},
author = {Xixian Chen and Haiqin Yang and Shenglin Zhao and Michael R. Lyu and Irwin King},
journal= {arXiv preprint arXiv:2010.04948},
year = {2020}
}
备注
12 pages, 5 figures