JEDI：半监督多数据集师生场景下面向视频动作识别的联合专家蒸馏

我们提出JEDI，一种多数据集半监督学习方法，其高效结合从多个不同数据集上学得的专家知识，以训练并提升各个按数据集划分的学生模型性能。我们的方法通过解决当前机器学习研究中的两个重要问题来实现这一点：跨数据集的泛化性，以及因标注数据稀缺导致的监督训练局限。我们以任意数量的专家起步，这些专家在各自特定数据集上预训练，构成初始学生模型集合。教师模型通过拼接学生模型倒数第二层的特征表示立即导出。随后我们在师生半监督学习场景中训练所有模型直至收敛。在我们高效的方法中，师生训练联合且端到端地进行，表明学生与教师都会在训练中提升其泛化能力。我们在四个视频动作识别数据集上验证我们的方法。通过在统一半监督设定下同时考虑所有数据集，我们展示了相较初始专家的显著改进。