用于无监督视觉任务和弱监督材料分割的 DINOv2 特征上采样
计算机视觉与模式识别
2025-08-07 v2 材料科学
图像与视频处理
摘要
自监督视觉变换器（ViT）的特征包含与对象定位和分割等下游任务相关的强语义和位置信息。最近的研究将这些特征与传统方法（如聚类、图划分或区域相关性）结合，以无需微调或训练额外网络的方式取得令人印象深目的基准。我们利用来自 ViT 网络（如 DINOv2）的上采样特征在两种工作流程中进行应用：一种是用于对象定位和分割的基于聚类的方法，另一种是与标准分类器配合用于弱监督材料分割。两者在基准测试中表现出色，特别是在弱监督分割中，ViT 特征捕获了传统方法无法访问的复杂关系。我们预期这些特征的灵活性和通用性将加速并强化材料表征，从分割到属性预测。
引用
@article{arxiv.2410.19836,
title = {Upsampling DINOv2 features for unsupervised vision tasks and weakly supervised materials segmentation},
author = {Ronan Docherty and Antonis Vamvakeros and Samuel J. Cooper},
journal= {arXiv preprint arXiv:2410.19836},
year = {2025}
}