面向领域适应开放词表分割的测试时优化
计算机视觉与模式识别
2025-03-11 v2
摘要
我们提出了Seg-TTO，一个用于零样本、开放词表语义分割（OVSS）的新型框架，旨在在特定领域任务中取得优异性能。虽然当前的开放词表方法在零样本设置下在标准分割基准上表现突出，但在高度领域特定的数据集上不足以媲美有监督方法。我们聚焦于分割特定的测试时优化，以弥合这一差距。分割需要理解单张图像中的多个概念，同时保持表示的局部性和空间结构。我们提出了一种新型自监督目标，符合上述要求，并用于在测试时对模型参数与输入图像进行对齐。在文本模态中，我们为每个类别学习多个嵌入来捕捉图像中各种概念，而在视觉模态中，我们计算像素级损失，并执行特定于保持空间结构的嵌入聚合操作。我们的所得框架称为Seg-TTO，可即插即用。我们将Seg-TTO集成到三个最先进的OVSS方法中，并跨越22个具有挑战性的OVSS任务进行评估，涵盖各种专业领域。我们的Seg-TTO在某些数据集上实现了最高27%的mIoU提升，树立了新的最先进纪录。我们的代码和模型将公开发布。
引用
@article{arxiv.2501.04696,
title = {Test-Time Optimization for Domain Adaptive Open Vocabulary Segmentation},
author = {Ulindu De Silva and Didula Samaraweera and Sasini Wanigathunga and Kavindu Kariyawasam and Kanchana Ranasinghe and Muzammal Naseer and Ranga Rodrigo},
journal= {arXiv preprint arXiv:2501.04696},
year = {2025}
}