面向交互式实例搜索的置信度感知主动反馈方法
计算机视觉与模式识别
2022-10-28 v3 信息检索
多媒体
摘要
在线相关反馈 (RF) 被广泛用于实例搜索 (INS) 任务中以进一步精炼不完美的排序结果，但其交互效率往往较低。主动学习 (AL) 技术通过筛选有价值的反馈候选来解决该问题。然而，主流 AL 方法需要初始标注集以冷启动，且求解计算复杂度高。因此，它们无法完全满足交互式 INS 任务中在线 RF 的需求。为解决此问题，我们提出一种置信度感知主动反馈方法 (CAAF)，专为交互式 INS 任务中的在线 RF 设计。受自步学习中显式难度建模方案启发，CAAF 利用成对流形排序损失来评估每个未标注样本的排序置信度。该排序置信度不仅通过指示有价值的反馈候选提升了交互效率，还通过调制流形排序中的扩散权重提升了排序质量。此外，我们设计了两种加速策略——近似优化方案与 Top-K 搜索方案——以降低 CAAF 的计算复杂度。在针对建筑、景观、人物及人类行为的图像 INS 任务与视频 INS 任务上的大量实验证明了所提方法的有效性。值得注意的是，在 NIST TRECVID 2021 的真实大规模视频 INS 任务中，CAAF 使用少 25% 的反馈样本即取得与冠军方案近乎相当的性能。而且，在相同反馈样本数下，CAAF 的 mAP 为 51.9%，显著超越冠军方案 5.9%。代码见 https://github.com/nercms-mmap/caaf。
引用
@article{arxiv.2110.12255,
title = {Confidence-Aware Active Feedback for Interactive Instance Search},
author = {Yue Zhang and Chao Liang and Longxiang Jiang},
journal= {arXiv preprint arXiv:2110.12255},
year = {2022}
}
备注
Accepted by IEEE Transactions on Multimedia