图像与文本间的循环组合学习
计算机视觉与模式识别
2021-07-27 v1 人工智能
摘要
我们提出了一种名为循环组合网络的方法，该方法可以度量图像-文本嵌入组合的语义距离。首先，组合网络使用相对描述在嵌入空间中将参考图像转换为目标图像。其次，校正网络计算嵌入空间中参考图像与检索到的目标图像之间的差异，并将其与相对描述进行匹配。我们的目标是利用组合网络学习一个组合映射。由于这种单向映射高度欠约束，我们将其与校正网络的反向关系学习相结合，并为给定图像引入循环关系。我们参加了 Fashion IQ 2020 挑战赛，并凭借模型的集成获得了第一名。
引用
@article{arxiv.2107.11509,
title = {Cycled Compositional Learning between Images and Text},
author = {Jongseok Kim and Youngjae Yu and Seunghwan Lee and GunheeKim},
journal= {arXiv preprint arXiv:2107.11509},
year = {2021}
}
备注
Fashion IQ 2020 challenge winner. Workshop tech report