局部亦足矣：面向基于部分输入的场景级细粒度草图图像检索
计算机视觉与模式识别
2022-03-29 v1
摘要
我们审视了困扰场景级草图研究的一个重要现象——相当大比例的场景草图是“部分”的。一项快速的初步研究显示：（i）由于对场景的主观整体解读，场景草图未必包含对应照片中的所有物体；（ii）因物体级抽象而产生显著的空白（白色）区域；并由此导致（iii）现有场景级细粒度草图图像检索（fine-grained sketch-based image retrieval，FG-SBIR）方法随着场景草图变得更局部而失效。为解决这一“部分”问题，我们主张采用一种基于集合的简单方法，利用最优传输（optimal transport，OT）以部分感知的方式建模跨模态区域关联性。重要的是，我们改进了 OT，通过对比模态内邻接矩阵来进一步考量整体部分性。我们所提方法不仅对部分场景草图鲁棒，而且在现有数据集上取得了最先进的性能。
引用
@article{arxiv.2203.14804,
title = {Partially Does It: Towards Scene-Level FG-SBIR with Partial Input},
author = {Pinaki Nath Chowdhury and Ayan Kumar Bhunia and Viswanatha Reddy Gajjala and Aneeshan Sain and Tao Xiang and Yi-Zhe Song},
journal= {arXiv preprint arXiv:2203.14804},
year = {2022}
}
备注
Accepted in CVPR 2022