测试时自适应 vs. 训练时泛化：基于关键点估计的人体实例分割案例研究
计算机视觉与模式识别
2022-12-14 v1 机器学习
摘要
我们考虑利用关键点估计来改善给定测试图像的人体实例分割掩码质量的问题。我们比较了两种替代方法。第一种是测试时自适应（TTA）方法，允许使用单张无标签测试图像在测试时对分割网络权重进行修改。该方法不假设测试时可访问带标签的源数据集。具体而言，我们的 TTA 方法将关键点估计作为伪标签并反向传播以调整主干权重。第二种是训练时泛化（TTG）方法，允许离线访问带标签的源数据集但不允许测试时修改权重。此外，我们不假设可获得来自目标域的任何图像或有关目标域的知识。我们的 TTG 方法将主干特征与关键点头生成的特征增强后，将聚合向量送入掩码头。通过一组全面的消融实验，我们评估了两种方法并识别出若干限制 TTA 增益的因素。特别地，我们表明在无明显域偏移时，TTA 可能有害而 TTG 仅表现出微小性能增益；而在大域偏移时，TTA 增益较小且依赖于所用启发式方法，而 TTG 增益较大且对架构选择具有鲁棒性。
引用
@article{arxiv.2212.06242,
title = {Test-time Adaptation vs. Training-time Generalization: A Case Study in Human Instance Segmentation using Keypoints Estimation},
author = {Kambiz Azarian and Debasmit Das and Hyojin Park and Fatih Porikli},
journal= {arXiv preprint arXiv:2212.06242},
year = {2022}
}