兼容性感知的异构视觉搜索
计算机视觉与模式识别
2021-05-14 v1 人工智能
机器学习
摘要
我们解决了资源约束下的视觉搜索问题。现有系统使用相同的嵌入模型来计算查询图像和图库图像的表示（嵌入）。此类系统 inherently 面临一个艰难的精度-效率权衡：嵌入模型需要足够大以确保高精度，同时又需要足够小以便在资源受限平台上计算查询嵌入。如果图库嵌入由大型模型生成而查询嵌入使用紧凑模型提取，则可以缓解这种权衡。构建此类系统的关键是确保查询模型与图库模型之间的表示兼容性。在本文中，我们解决了两种形式的兼容性：一种通过修改计算每个嵌入的模型的参数来强制实现；另一种通过修改计算嵌入的架构来实现，从而引出兼容性感知的神经架构搜索（CMP-NAS）。我们在具有挑战性的时尚图像（DeepFashion2）和人脸图像（IJB-C）检索任务上测试了 CMP-NAS。与使用最大嵌入模型（paragon）的普通（同质）视觉搜索相比，CMP-NAS 在 DeepFashion2 和 IJB-C 上分别实现了 80 倍和 23 倍的成本降低，同时将精度保持在 paragon 的 0.3% 和 1.6% 以内。
引用
@article{arxiv.2105.06047,
title = {Compatibility-aware Heterogeneous Visual Search},
author = {Rahul Duggal and Hao Zhou and Shuo Yang and Yuanjun Xiong and Wei Xia and Zhuowen Tu and Stefano Soatto},
journal= {arXiv preprint arXiv:2105.06047},
year = {2021}
}
备注
Accepted at CVPR 2021