面向零样本草图检索的动态多层加权对齐网络
计算机视觉与模式识别
2025-11-04 v1
摘要
零样本草图基图像检索 (ZS-SBIR) 问题因其广泛应用（如电子商务）而受到日益关注。尽管该领域取得了进展，但以往方法在训练过程中使用不平衡的模态样本和不一致的低质量信息，导致性能次优。因此，本文提出一种名为动态多层加权对齐网络 (Dynamic Multi-level Weighted Alignment Network) 的方法用于 ZS-SBIR。该方法由三个组件构成：(i) 单模态特征提取模块，包括 CLIP 文本编码器和 ViT 用于提取文本和视觉标记；(ii) 跨模态多层加权模块，通过局部和全局聚合块产生对齐权重列表，以衡量草图和图像样本的对齐质量；(iii) 加权四元组损失模块旨在改善三角损失中的域平衡性。在三个基准数据集上进行实验，即 Sketchy、TU-Berlin 和 QuickDraw，结果表明本方法在 ZS-SBIR 方法中性能卓越，优于现有最先进技术。
引用
@article{arxiv.2511.00925,
title = {Dynamic Multi-level Weighted Alignment Network for Zero-shot Sketch-based Image Retrieval},
author = {Hanwen Su and Ge Song and Jiyan Wang and Yuanbo Zhu},
journal= {arXiv preprint arXiv:2511.00925},
year = {2025}
}