自由视角素描：视角感知的细粒度基于素描的图像检索

本文通过解决素描创作过程中一个关键但被忽视的方面——视角选择，深入探讨了细粒度基于素描的图像检索（FG-SBIR）的复杂动态。照片系统通过海量数据集能够无缝处理多样化视角，而素描系统由于从固定视角收集的数据有限，面临着挑战。我们的先导研究采用预训练的FG-SBIR模型，凸显了当查询素描与目标实例视角不同时系统的困难。有趣的是，问卷调查显示用户希望拥有自主权，很大比例的用户倾向于特定视角的检索。为了调和这一点，我们提倡一种视角感知系统，能够无缝兼顾视角无关与视角特定任务。为克服数据集局限性，我们的第一个贡献利用3D物体的多视角2D投影，注入跨模态视角感知。第二个贡献通过解耦引入可定制的跨模态特征，允许轻松切换模式。在标准数据集上的大量实验验证了我们方法的有效性。