面向视频流持续学习的注意力轨迹随机相干方法

设计能够身处环境并通过观察周遭进行学习的智能体是人工智能的长期目标。从纯粹的机器学习视角看，当智能体无法利用大型全标注数据集，而监督信号在时空上稀疏分布时，挑战随之而来。本文提出一种基于神经网络的新方法，用于在视频流中渐进且自主地发展像素级表征。该方法基于类人的注意力机制，使智能体能通过观察注意位置处的运动来进行学习。沿注意力轨迹的时空随机相干，配合对比项，形成了一种无监督学习准则，可自然应对所述设定。与多数现有工作不同，所学习的表征被用于每帧像素的开放集类增量分类，且仅依赖少量监督。我们的实验利用 3D 虚拟环境，表明所提智能体仅通过观察视频流即可学会区分物体。从 SOTA 模型继承特征并不如人们预期般强大。