最适合才最好：基于动态局部敏感哈希的关联模型服务查找
信息检索
2020-10-20 v1 数据结构与算法
机器学习
摘要
近来，深度学习已成为机器学习和人工智能中最受欢迎的方向。然而，训练数据的准备往往是部署深度学习模型用于生产或研究生命周期中的瓶颈。复用模型对数据集进行推理可大幅节省训练数据创建所需的人力成本。尽管存在如 TensorFlow Hub、PyTorch Hub、DLHub 等若干模型共享平台，这些系统大多要求模型上传者手动指定每个模型的细节，并要求模型下载者筛选关键词搜索结果以选择模型。它们缺乏自动的模型搜索工具。本文提出了一种基于目标数据集与可用模型的训练数据集的相似性来搜索关联模型以用于服务的端到端流程。虽然存在许多相似性度量，我们研究了如何在不进行成对比较的情况下高效应用这些度量，并比较了这些度量的有效性。我们发现，我们提出的基于 Jensen-Shannon（JS）散度的自适应度量是有效的度量，并且其计算可通过使用局部敏感哈希技术显著加速。
引用
@article{arxiv.2010.09474,
title = {It's the Best Only When It Fits You Most: Finding Related Models for Serving Based on Dynamic Locality Sensitive Hashing},
author = {Lixi Zhou and Zijie Wang and Amitabh Das and Jia Zou},
journal= {arXiv preprint arXiv:2010.09474},
year = {2020}
}