少量点击足矣：面向语义分割的主动测试时自适应
计算机视觉与模式识别
2023-12-05 v1
摘要
测试时自适应（TTA）在推理期间利用无标签测试数据调整预训练模型，因其潜在的实用价值而受到大量研究关注。遗憾的是，在没有任何标签监督的情况下，现有 TTA 方法严重依赖启发式或经验研究。模型在何处更新往往陷入次优或带来更多计算资源消耗。同时，TTA 方法与其有监督对应方法之间仍存在显著的性能差距。受主动学习启发，本工作我们提出面向语义分割场景的主动测试时自适应。具体而言，我们在测试阶段引入人在回路模式，查询极少量标签以在线方式促进预测与模型更新。为此，我们提出一个简单而有效的 ATASeg 框架，其由两部分组成，即模型适配器与标签标注器。大量实验表明，ATASeg 仅用极少量标注便弥合了 TTA 方法与其有监督对应方法之间的性能差距，甚至在 ACDC 基准上仅一次标注点击就以平均 mIoU 超越已知 SOTA TTA 方法 2.6%。实证结果表明，模型适配器或标签标注器中任一方面的进展都将为 ATASeg 框架带来改进，使其具有很大的研究与现实潜力。
引用
@article{arxiv.2312.01835,
title = {Few Clicks Suffice: Active Test-Time Adaptation for Semantic Segmentation},
author = {Longhui Yuan and Shuang Li and Zhuo He and Binhui Xie},
journal= {arXiv preprint arXiv:2312.01835},
year = {2023}
}
备注
15 pages, 10 figures