通过草图绘制学习几何感知表征
计算机视觉与模式识别
2023-04-18 v1
摘要
理解距离与形状等几何概念对于认识真实世界以及许多视觉任务至关重要。为将此类信息融入场景的视觉表征中，受人类行为启发，我们提出通过学习以草图绘制方式来表征场景。我们的方法称为Learning by Sketching（LBS），学习将图像转换为一组彩色笔画，在单次推理步骤中显式地融入场景的几何信息，且无需草图数据集。随后由笔画生成草图，其中基于CLIP的感知损失维持草图与图像间的语义相似性。我们从理论上证明草图绘制对任意仿射变换具有等变性，从而可证明地保留几何信息。实验结果表明，LBS在无标签CLEVR数据集上的物体属性分类、CLEVR与STL-10数据集间的域迁移以及多种下游任务上大幅提升了性能，证实了LBS提供了丰富的几何信息。
引用
@article{arxiv.2304.08204,
title = {Learning Geometry-aware Representations by Sketching},
author = {Hyundo Lee and Inwoo Hwang and Hyunsung Go and Won-Seok Choi and Kibeom Kim and Byoung-Tak Zhang},
journal= {arXiv preprint arXiv:2304.08204},
year = {2023}
}
备注
CVPR 2023