无忧绘图：噪声容忍的基于草图的图像检索
计算机视觉与模式识别
2022-03-29 v1
摘要
绘图支持许多令人振奋的应用，尤其是图像检索。然而，“怕画”问题（即“我不会画”）已被证明对其广泛采用是致命的。本文正面应对这一“恐惧”，并首次提出一个用于现有检索模型的辅助模块，该模块主要让用户能够绘图而无需担忧。我们首先开展了一项试点研究，揭示其奥秘在于噪声笔画的存在，而非“我不会画”本身。我们随之设计了一个笔画子集选择器，其检测噪声笔画，仅保留那些对成功检索有正向贡献的笔画。我们基于强化学习的公式量化给定子集中每一笔画的重要性，依据该笔画对检索的贡献程度而定。当作为预处理模块与预训练检索模型结合时，我们相较标准基线取得了 8%–10% 的显著提升，并进而报告了新的最优（state-of-the-art）性能。最后同样重要的是，我们证明该选择器一经训练，亦可即插即用地赋能各类草图应用，以先前无法实现的方式。
引用
@article{arxiv.2203.14817,
title = {Sketching without Worrying: Noise-Tolerant Sketch-Based Image Retrieval},
author = {Ayan Kumar Bhunia and Subhadeep Koley and Abdullah Faiz Ur Rahman Khilji and Aneeshan Sain and Pinaki Nath Chowdhury and Tao Xiang and Yi-Zhe Song},
journal= {arXiv preprint arXiv:2203.14817},
year = {2022}
}
备注
IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2022 Code: https://github.com/AyanKumarBhunia/Stroke_Subset_Selector-for-FGSBIR