利用感知时间线索实现无监督多模态元学习

随着物联网传感器数据变得无处不在，最先进的机器学习算法在直接使用传感器数据时面临诸多挑战。为克服这些挑战，必须设计无需人工标注即可直接从传感器学习的方法。本文介绍了用于无监督元学习的感知时间线索（STUM）。不同于严重依赖标签或依赖于时间无关特征提取假设（如高斯分布特征）的传统学习方法，STUM 系统利用输入的时间关系来引导模态内和跨模态特征空间的形成。STUM 从各种小任务中学习这一事实使其可归入元学习范畴。与现有的元学习方法不同，STUM 学习任务是基于与物联网流数据共存的时间线索在多个模态内和跨模态构成的。在视听学习示例中，由于连续的视觉帧通常包含同一对象，该方法提供了一种将同一对象的特征组织在一起的独特方式。如果对象的口语名称与该对象大约在同一时间出现，相同的方法也能将视觉对象特征与该对象的口语名称特征组织在一起。这种跨模态特征组织可进一步帮助组织属于相似对象但在不同位置和时间获取的视觉特征。评估取得了有前景的结果。