基于 CoRTe 的跨域迁移学习：从黑盒到轻量级分割模型的一致可靠迁移
计算机视觉与模式识别
2024-02-21 v1
摘要
许多实际应用需要在未标记数据集上训练语义分割模型，并在低资源硬件上执行。从已训练的源模型进行蒸馏可能是解决第一个问题的方案，但未考虑训练数据分布的差异。无监督域自适应 (UDA) 技术声称能解决域偏移问题，但在大多数情况下假设源数据可用或源模型为可访问的白盒模型，而这在实际应用中常因商业和/或安全原因而不可用。在本文中，我们研究了一个更具挑战性的设定：假设仅能访问黑盒源模型的预测，必须在目标未标记数据集上训练用于语义分割的轻量级模型。我们的方法名为 CoRTe，包含：(i) 一个伪标签函数，利用其相对置信度从黑盒源模型中提取可靠知识；(ii) 一种伪标签细化方法，以保留并增强学生模型在目标数据上学到的新信息；(iii) 使用提取的伪标签对模型进行一致性训练。我们在两个合成到真实的设定中对 CoRTe 进行了基准测试，结果表明在使用黑盒模型将知识迁移到针对目标数据分布的轻量级模型时取得了显著效果。
引用
@article{arxiv.2402.13122,
title = {Cross-Domain Transfer Learning with CoRTe: Consistent and Reliable Transfer from Black-Box to Lightweight Segmentation Model},
author = {Claudia Cuttano and Antonio Tavera and Fabio Cermelli and Giuseppe Averta and Barbara Caputo},
journal= {arXiv preprint arXiv:2402.13122},
year = {2024}
}
备注
11 pages, 6 figures, ICCV2023 workshop