开放世界中的分割辅助增量测试时适应
计算机视觉与模式识别
2025-08-28 v1
摘要
在动态环境中，经常会遇到不熟悉的对象和分布偏移，这挑战了已部署训练模型的泛化能力。本工作针对视觉语言模型的增量测试时适应，处理在测试期间持续出现未见类别和未见域的场景。与测试流仅来自预定义类别集的传统测试时适应方法不同，我们的框架允许模型同时适应协变量偏移和标签偏移，并在新类别出现时主动将其纳入。为实现这一目标，我们为 ITTA 建立了一个新的基准，将 VLM 的单图像 TTA 方法与主动标注技术相结合，该技术在测试期间向预言机查询可能代表未见类别的样本。我们提出了一个分割辅助主动标注模块，称为 SegAssist，该模块无需训练，并利用 VLM 的分割能力来优化主动样本选择，优先选择可能属于未见类别的样本。在几个基准数据集上的大量实验证明了 SegAssist 在真实世界场景中提升 VLM 性能的潜力，在这些场景中，对新兴数据的持续适应至关重要。项目页面：https://manogna-s.github.io/segassist/
引用
@article{arxiv.2508.20029,
title = {Segmentation Assisted Incremental Test Time Adaptation in an Open World},
author = {Manogna Sreenivas and Soma Biswas},
journal= {arXiv preprint arXiv:2508.20029},
year = {2025}
}
备注
Accepted at BMVC 2025