用于减少近似最近邻搜索中共享内存 bank 冲突的自定义 8 位浮点数值格式
分布式、并行与集群计算
2023-01-18 v1
摘要
k 近邻搜索被广泛应用于机器学习、计算机视觉、数据库搜索和信息检索等各种应用中。虽然精确最近邻搜索的计算成本巨大，但近似最近邻搜索（ANNS）一直备受关注。IVFPQ 是 ANNS 方法之一。尽管我们可以利用共享内存的高带宽和低延迟在 NVIDIA GPU 上计算 IVFPQ 的搜索阶段，但由于共享内存 bank 冲突，吞吐量可能会下降。为了减少 bank 冲突并提高搜索吞吐量，我们提出了一种自定义的 8 位浮点数值格式。该格式没有符号位，并且可以用少量指令在 FP32 与之相互转换。我们在 GPU 上的 IVFPQ 中使用此格式，与 FP32 和 FP16 相比，在召回率损失不显著的情况下实现了更好的性能。
引用
@article{arxiv.2301.06672,
title = {Custom 8-bit floating point value format for reducing shared memory bank conflict in approximate nearest neighbor search},
author = {Hiroyuki Ootomo and Akira Naruse},
journal= {arXiv preprint arXiv:2301.06672},
year = {2023}
}
备注
Extended "extended abstract of the SC22 research poster"