CLIPSym：通过 CLIP 探索对称性检测
计算机视觉与模式识别
2025-08-21 v1
摘要
对称性是计算机视觉中最基本的几何线索，检测其一直是持续的挑战。鉴于最近在视觉语言模型方面的进展，即 CLIP，我们调查预训练 CLIP 模型是否能够通过利用自然图像描述中发现的额外对称性线索来辅助对称性检测。我们提出 CLIPSym，该模型利用 CLIP 的图像和语言编码器，以及基于 Transformer 和 -Convolution 混合的旋转等变解码器来检测旋转和反射对称性。为充分利用 CLIP 的语言编码器，我们开发了一种新颖的提示技术，称为语义感知提示分组（Semantic-Aware Prompt Grouping, SAPG），该技术聚合多样化的常见基于对象的提示，以更好地整合对称性检测的语义线索。经验上，我们展示 CLIPSym 在三个标准对称性检测数据集（DENDI、SDRW 和 LDRS）上超越当前最先进技术。最后，我们进行详细的消融实验验证了 CLIP 预训练、提出的等变解码器以及 SAPG 技术的益处。代码已公开于 https://github.com/timyoung2333/CLIPSym。
引用
@article{arxiv.2508.14197,
title = {CLIPSym: Delving into Symmetry Detection with CLIP},
author = {Tinghan Yang and Md Ashiqur Rahman and Raymond A. Yeh},
journal= {arXiv preprint arXiv:2508.14197},
year = {2025}
}