用于学习通用表示的多任务自训练
计算机视觉与模式识别
2021-08-26 v1
摘要
尽管针对各种任务训练专用模型取得了快速进展，但对于计算机视觉而言，学习一个能适用于许多任务的单一通用模型仍然具有挑战性。在此我们引入多任务自训练，利用独立的专用教师模型（例如用于分类的 ImageNet 模型）中的知识来训练一个单一的通用学生模型。我们的方法包含三个步骤。首先，我们在有标签数据集上独立训练专用教师模型。然后，我们使用这些专用教师模型为无标签数据集标注，以创建一个多任务伪标签数据集。最后，利用该包含来自在不同数据集/任务上训练的教师模型的伪标签的数据集，通过多任务学习来训练一个学生模型。我们在 6 项视觉任务上评估了学生模型的特征表示，包括图像识别（分类、检测、分割）和 3D 几何估计（深度与表面法线估计）。MuST 对无标签或部分标注的数据集具有可扩展性，并且在大规模数据集上训练时优于专用监督模型和自监督模型。最后，我们表明 MuST 能够在已使用数十亿样本训练的强检查点基础上进一步提升性能。结果表明，自训练是聚合有标签和无标签训练数据以学习通用特征表示的一个极具前景的方向。
引用
@article{arxiv.2108.11353,
title = {Multi-Task Self-Training for Learning General Representations},
author = {Golnaz Ghiasi and Barret Zoph and Ekin D. Cubuk and Quoc V. Le and Tsung-Yi Lin},
journal= {arXiv preprint arXiv:2108.11353},
year = {2021}
}
备注
ICCV 2021