用于语义分割的测试时训练及其输出对比损失
计算机视觉与模式识别
2023-11-15 v1
摘要
尽管基于深度学习的分割模型在公开基准上取得了令人印象深刻的性能，但良好泛化至未知环境仍是一大挑战。为提升模型在评估时对新领域的泛化能力，测试时训练（TTT）是一种以在线方式自适应源预训练模型的困难范式。早期TTT工作主要关注图像分类任务。将这些方法直接扩展至语义分割，易因其固有特性（如极端类别不平衡与复杂决策空间）而经历不稳定自适应。为稳定自适应过程，我们引入以学习鲁棒且可泛化表示著称的对比损失（CL）。然而，传统CL在表示空间运作，无法直接增强预测。在本文中，我们通过将CL适配至输出空间、采用高温并简化形式，解决了该局限，从而得到一种简洁而有效的损失函数，称为输出对比损失（OCL）。我们全面的实验验证了该方法在不同评估场景下的效力。值得注意的是，即便应用于最初使用领域自适应方法在测试域数据上预训练的模型，我们的方法仍表现优异，展现了其韧性与适应性。\footnote{代码与更多信息见~ \url{https://github.com/dazhangyu123/OCL}}
引用
@article{arxiv.2311.07877,
title = {Test-Time Training for Semantic Segmentation with Output Contrastive Loss},
author = {Yunlong Zhang and Yuxuan Sun and Sunyi Zheng and Zhongyi Shui and Chenglu Zhu and Lin Yang},
journal= {arXiv preprint arXiv:2311.07877},
year = {2023}
}