面向4D全景分割的可动作体的标准空间表示

可动作体感知在计算机视觉中面临诸多挑战，尤其是由于大多数现有方法忽视了虽然本质上具有动态特性的运动。对于可动作体感知而言，尚未充分探索4D时间数据，亦未对其进行系统检视。缺乏基准数据集也进一步阻碍了该领域的发展。为此，我们引入Artic4D作为一个新数据集，源自PartNet Mobility，并 augmented with合成传感器数据，包含4D全景标注和运动参数。基于该数据集，我们提出了CanonSeg4D，一种新的4D全景分割框架。该方法显式估计每帧的偏移量，将观察到的物体部件映射到学习到的标准空间，从而增强部件级分割。该框架利用该标准表示实现物体部件在连续帧之间的一致对齐。针对Artic4D上的全面实验表明，所提出的CanonSeg4D在全景分割精度上优于当前最先进的方法，尤其是在更为复杂的情形下。这些发现凸显了时序建模和标准对齐在动态物体理解中的有效性，并为未来在4D可动作体感知方面的进展指明了道路。