跨不同自我中心视频理解任务学习可复用概念

我们对描绘人类活动的视频流的理解自然是多层面的：在短短片刻间，我们能够掌握正在发生的事情、识别场景中物体的相关性与交互作用，并预测即将发生什么，所有这一切都在瞬间同时完成。为了赋予自主系统这种整体感知能力，学习如何关联概念、跨多样化任务抽象知识，并在学习新技能时利用任务协同性至关重要。在本文中，我们引入了 Hier-EgoPack，这是一个统一的框架，能够创建一系列任务视角集合，这些视角可以迁移到下游任务中，并作为潜在附加见解的来源，就像一个机器人可以随身携带并在需要时使用的技能背包。