Know2Vec：神经网络检索的黑盒代理
机器学习
2024-12-24 v1
摘要
对于一般用户而言，从头训练神经网络通常困难且费时。幸运的是，神经网络动物园使他们能够直接使用或在本地环境中进行微调。尽管当前的模型检索解决方案尝试将神经网络模型转换为向量以避免模型选择所需的复杂多推理过程，但由于向量化不准确以及查询数据集与模型之间的相关性对齐偏差，仍然难以选择合适的模型。从知识一致性（即模型拥有的知识是否满足查询任务的需求）的角度，我们提出一种模型检索方案，称为 Know2Vec，作为模型动物园的黑盒检索代理。Know2Vec 首先通过黑盒接口访问模型，捕获关键决策知识，同时确保其隐私。随后，它采用有效的编码技术将知识转换为精确的模型向量。其次，它通过探测查询样本中的语义关系将用户的查询任务映射到知识向量。进一步，该代理通过监督学习优化对齐空间中的知识一致性（使用多样化损失函数），最终在推理阶段识别适合给定任务的最合适模型。广泛的实验表明，我们的 Know2Vec 在多样化的神经网络检索任务中实现了优于现有方法的检索准确性。
引用
@article{arxiv.2412.16251,
title = {Know2Vec: A Black-Box Proxy for Neural Network Retrieval},
author = {Zhuoyi Shang and Yanwei Liu and Jinxia Liu and Xiaoyan Gu and Ying Ding and Xiangyang Ji},
journal= {arXiv preprint arXiv:2412.16251},
year = {2024}
}
备注
AAAI2025 accepted