零样针对性部件分割
计算机视觉与模式识别
2025-03-04 v1 人工智能
摘要
本文提出一种名为OIParts（One-shot In-context Part Segmentation）的框架，旨在利用视觉基础模型（VFMs）解决部件分割挑战。现有基于训练的零样部件分割方法在面对单样本图像与测试图像在外观和视角上存在显著差异，或测试图像中目标部分可见的情况时，会遇到困难。我们认为，在单样本示例上进行训练常导致过拟合，从而损害模型的泛化能力。我们的框架提供一种无需训练的、灵活的、数据高效的部件分割方法，仅需一个即可实现精确分割并具备优异的泛化能力。通过充分探索VFMs（具体为DINOv2和Stable Diffusion）的互补优势，我们引入一种自适应通道选择方法，通过最小化类内距离来更好地利用这两种特征，从而增强提取特征对精细部件的判别能力。我们在 diverse 对象类别上实现了显著的分割性能。OIParts框架不仅消除了对大量标记数据的需求，还显示出优异的泛化能力。通过在三个基准数据集上的全面实验，我们证明了我们提出的方法在零样设置下优于现有的部件分割方法。
引用
@article{arxiv.2503.01144,
title = {One-shot In-context Part Segmentation},
author = {Zhenqi Dai and Ting Liu and Xingxing Zhang and Yunchao Wei and Yanning Zhang},
journal= {arXiv preprint arXiv:2503.01144},
year = {2025}
}
备注
10 pages