面向通用任务空间的主动表示学习及其在机器人中的应用

基于多任务预训练的表示学习已成为许多领域的强大方法。具体而言，任务感知表示学习旨在从一组源任务中采样数据，为特定目标任务学习最优表示；而任务不可知表示学习寻求为一类任务学习通用表示。本文提出一个通用且多用的主动表示学习算法与理论框架，其中学习器最优选择从哪些源任务采样。该框架及一个可处理的元算法，允许大多数任意目标与源任务空间（从离散到连续），涵盖任务感知与任务不可知设定，并兼容深度表示学习实践。我们在此框架下给出若干实例，从双线性、基于特征的非线性到一般非线性情形。在双线性情形下，通过利用任务表示的非均匀谱与校准的源-目标相关性，我们证明在目标上达到 $\varepsilon$-超额风险的样本复杂度随 $(k^*)^2 \|v^*\|_2^2 \varepsilon^{-2}$ 缩放，其中 $k^*$ 为目标的有效维度，$\|v^*\|_2^2 \in (0,1]$ 表示源与目标空间的联系。相较被动方式，这最多可节省 $\frac{1}{d_W}$ 的样本复杂度，其中 $d_W$ 为任务空间维度。最后，我们在合成数据集与机器人问题中展示了元算法的不同实例，从摆仿真到真实世界无人机飞行数据集。平均而言，我们的算法优于基线 $20\%-70\%$。