基于语言时尚检索的自蒸馏动态融合网络

在基于语言的时尚图像检索领域，使用参考图像及其附带的文本描述来精确定位所需的时尚单品是一个有趣的挑战。现有方法严重依赖于静态融合技术，将图像和文本交织在一起。尽管取得了值得称赞的进展，但这些方法仍然受限于灵活性的不足。为此，我们提出了一种自蒸馏动态融合网络，通过同时考虑路由路径的一致性和模态特定信息，动态地组合多粒度特征。我们提出的方法包含两个新模块：(1) 具有模态特定路由器的动态融合网络。动态网络能够根据每个参考图像和修改文本的独特语义和分布，灵活地确定其路由。(2) 自路径蒸馏损失。查询的稳定路径决策有利于特征提取和路由的优化，我们通过逐步利用先前的路径信息来细化路径决策来实现这一点。大量实验证明了我们提出的模型相对于现有方法的有效性。