跨监督、无监督和半监督学习范式下动物动作分割算法研究

动物行为视频的动作分割是将每一帧标记为属于一个或多个离散类的过程，这是许多研究中调查动物行为的关键组成部分。存在各种算法用于自动解析离散的动物行为，包括监督、无监督和半监督学习范式。这些算法——包括基于树的模型、深度神经网络和图模型——在结构和对数据的假设上差异很大。我们使用覆盖多个物种（果蝇、小鼠和人类）的四个数据集，系统性地研究这些各种算法的输出如何与感兴趣的手动标注行为一致。顺便介绍一种半监督动作分割模型，用于在监督深度神经网络和无监督图模型之间架起桥梁。我们发现，带有观察中时间信息的全监督时序卷积网络在所有数据集上的监督指标中表现最佳。