利用未标注手术室数据自监督进行多人2D/3D人体姿态估计
计算机视觉与模式识别
2021-08-23 v2
摘要
2D/3D人体姿态估计是开发用于手术室、能够分析并辅助临床活动的新型智能工具所必需的。然而,标注数据的缺乏以及最先进姿态估计方法的复杂性,限制了此类技术在手术室内部的部署。在本工作中,我们提出在教师/学生框架中使用知识蒸馏,以利用大规模未标注数据集以及准确但复杂的多阶段教师网络中所蕴含的知识,来训练一个用于联合2D/3D姿态估计的轻量网络。教师网络还利用未标注数据生成硬标签与软标签,有助于改进学生的预测。采用这一有效自监督策略训练得到的易部署网络,在\emph{MVOR+}上与教师网络表现相当;MVOR+是公开MVOR数据集的扩展,其中所有人物均被完整标注,从而提供了手术室实时2D/3D人体姿态估计的可行方案。
引用
@article{arxiv.2007.08354,
title = {Self-supervision on Unlabelled OR Data for Multi-person 2D/3D Human Pose Estimation},
author = {Vinkle Srivastav and Afshin Gangi and Nicolas Padoy},
journal= {arXiv preprint arXiv:2007.08354},
year = {2021}
}
备注
Published at MICCAI 2020. Code is available at https://github.com/CAMMA-public/ORPose-Color