基于语义聚类的点对比预测用于点云视频自监督学习

我们提出一个统一的以点为中心和以场景为中心数据的点云视频自监督学习框架。先前方法通常在片段或帧级别进行表示学习，无法很好捕获细粒度语义。本文中，我们不直接对比片段或帧的表示，而是通过在点级别进行对比学习提出统一自监督框架。此外，我们引入一个新 pretext 任务，通过对超点实现语义对齐，进一步促使表示在多尺度上捕获语义线索。另外，由于动态点云时间维度的高冗余性，直接在点级别进行对比学习通常导致大量不期望的负样本以及正样本表示建模不足。为此，我们提出一种选择策略以保留恰当负样本，并利用来自其他实例的高相似度样本作为正样本补充。大量实验表明，我们的方法在广泛下游任务上优于有监督对应方法，并展示了所学表示的优越可迁移性。