寻找你的针：基于多目标注意力优化的小目标图像检索

我们探讨了小目标图像检索 (Small Object Image Retrieval, SoIR) 的挑战，其目标是在杂乱场景中检索包含特定小目标的图像。在这种设置中，关键挑战在于构建一个单一图像描述符，用于可扩展且高效的搜索，以有效表示图像中的所有目标。在本文中，我们首先分析了现有方法在这一挑战性任务上的局限性，然后引入了新的基准以支持 SoIR 评估。接下来，我们介绍了多目标注意力优化 (Multi-object Attention Optimization, MaO)，这是一种新颖的检索框架，包含一个专门的多目标预训练阶段。随后是一个细化过程，利用基于注意力的特征提取与目标掩码，将它们集成为一个单一的统一图像描述符。我们的 MaO 方法显著优于现有的检索方法和强基线，在零样本和轻量级多目标微调中均取得了显著改进。我们希望这项工作能为这一高度实用的任务奠定基础并激发进一步的研究，以增强检索性能。代码和数据可在我们的项目页面获取：$\href{https://pihash2k.github.io/findyourneedle.github.io}{https://pihash2k.github.io/findyourneedle.github.io}$。