零样本任务迁移

在本工作中，我们提出了一种新颖的元学习算法，即 TTNet，该算法针对没有真值可用的新任务（零样本任务）回归出模型参数。为了适应新的零样本任务，我们的元学习器从已知任务（有真值）的模型参数以及已知任务与零样本任务之间的相关性中进行学习。这种直觉在认知科学中找到了立足点，即主体（人类婴儿）可以通过将新概念（深度理解）与旧概念（手部运动或自身运动）相关联，在没有接受明确监督的情况下适应新概念。我们在 Taskonomy 数据集上评估了我们的模型，将四个任务作为零样本：表面法线、房间布局、深度和相机位姿估计。选择这些任务是基于数据获取的复杂性以及使用深度网络的学习过程相关的复杂性。我们提出的方法在每个零样本任务上都优于 SOTA 模型（这些模型使用了真值），在零样本任务迁移上展现出前景。我们还进行了广泛的实验以研究我们方法论的各种选择，并展示了所提出的方法如何也能用于迁移学习。据我们所知，这是在任务空间中进行零样本学习的首次此类尝试。