利用大规模点击日志通过 DNN 学习跨空间映射
计算机视觉与模式识别
2023-02-28 v1
摘要
低级视觉信号与高级语义之间的鸿沟正由深度神经网络（DNN）的持续发展逐步弥合。随着 DNN 的最新进展，几乎所有图像分类任务都刷新了准确率纪录。为扩展 DNN 在图像检索任务上的能力，我们提出了一种统一的 DNN 模型，通过在同一网络中同时建模图像与查询来计算图像—查询相似度。该统一 DNN 被称为跨空间映射（CSM）模型，包含卷积部分与查询嵌入部分。图像与查询分别经这两部分映射至一个公共向量空间，图像—查询相似度自然定义为它们在该空间中映射的内积。为保障 DNN 良好的泛化能力，我们从大量点击日志中学习 DNN 权重，这些日志由 100 万张图像与 1170 万条查询之间的 2300 万对点击图像—查询组成。在包含 1000 条查询的图像检索评测任务上，定性与定量结果均证明了所提方法的优越性。
引用
@article{arxiv.2302.13275,
title = {Learning cross space mapping via DNN using large scale click-through logs},
author = {Wei Yu and Kuiyuan Yang and Yalong Bai and Hongxun Yao and Yong Rui},
journal= {arXiv preprint arXiv:2302.13275},
year = {2023}
}
备注
Accepted by IEEE Transactions on Multimedia 2015