ICCV 2023视觉持续学习挑战赛技术报告：面向语义分割的连续测试时自适应
计算机视觉与模式识别
2023-10-23 v1 人工智能
机器学习
摘要
该挑战赛的目标是开发一种测试时自适应(TTA)方法，使模型能够自适应视频序列中逐渐变化的域以完成语义分割任务。其基于一个合成驾驶视频数据集——SHIFT。源模型在晴天白天拍摄的图像上训练。测试时的域变化主要由天气条件和一天中时间的变化引起。TTA方法在每个图像序列(视频)上分别评估，意味着模型在下一个序列前重置为源模型状态。图像逐帧到来，必须在每帧到达时做出预测。每个序列由401幅图像组成，以源域开始，然后逐渐漂移到不同域(变化的天气或时间)，直到序列中部。在序列后半段，域逐渐移回源域。真实标签仅对SHIFT数据集的验证划分可用，其中仅有六个以源域开始和结束的序列。我们专门对这些序列进行了分析。用于排行榜排名评估所开发TTA方法的测试划分真实标签不公开。所提出的方案在挑战赛中获第三名并获创新奖。与得分更高的方案不同，我们未使用任何外部预训练模型或专门的数据增强，以尽可能保持方案的通用性。我们着重分析了分布偏移并开发了能适应变化数据动态且跨不同场景泛化的方法。
引用
@article{arxiv.2310.13533,
title = {Technical Report for ICCV 2023 Visual Continual Learning Challenge: Continuous Test-time Adaptation for Semantic Segmentation},
author = {Damian Sójka and Yuyang Liu and Dipam Goswami and Sebastian Cygert and Bartłomiej Twardowski and Joost van de Weijer},
journal= {arXiv preprint arXiv:2310.13533},
year = {2023}
}