技术报告：用于学习幼年斑马鱼行为潜在嵌入的掩码骨架序列建模
计算机视觉与模式识别
2024-03-26 v1
摘要
在本报告中，我们介绍了一种新颖的自监督学习方法，用于从幼年斑马鱼的行为中提取潜在嵌入。受图像处理中的掩码自编码器（MAE）和自然语言处理中的生成式预训练Transformer（GPT）中使用的掩码建模技术的启发，我们将行为序列视为图像和语言的混合体。对于游泳斑马鱼的骨架序列，我们提出了一种开创性的Transformer-CNN架构——序列时空Transformer（SSTFormer），旨在捕捉不同关节的帧间相关性。这种相关性特别有价值，因为它反映了鱼体不同部位在相邻帧中的协调运动。为了处理高帧率，我们将骨架序列分割成不同的时间切片，类似于句子中的“单词”，并使用自注意力Transformer层对每个切片内的连续帧进行编码，捕捉不同关节之间的空间相关性。此外，我们引入了一个基于CNN的注意力模块来增强Transformer层输出的表征。最后，我们在时间切片之间引入了时间特征聚合操作，以改善相似行为的区分度。
引用
@article{arxiv.2403.15693,
title = {Technical Report: Masked Skeleton Sequence Modeling for Learning Larval Zebrafish Behavior Latent Embeddings},
author = {Lanxin Xu and Shuo Wang},
journal= {arXiv preprint arXiv:2403.15693},
year = {2024}
}