基于视频的端到端流水线：婴幼儿非营养性吸吮动作识别与分割
计算机视觉与模式识别
2023-03-30 v1
摘要
我们提出一种端到端计算机视觉流水线，利用现成的婴儿监护仪视频片段，检测非营养性吸吮（NNS）——一种不提供营养的婴儿吸吮模式——作为发育迟缓的潜在生物标志物。NNS 临床（或算法）评估的一个障碍源于其稀疏性，要求专家翻阅数小时视频以找到几分钟相关活动。我们的 NNS 活动分割算法通过以高置信度识别 NNS 时段解决了该问题——在来自我们手动标注的 NNS 临床在床数据集（包含 19 名婴幼儿共 183 小时夜间婴儿监护仪视频）的 30 个异质 60 秒片段上，达到最高 94.0% 平均精度与 84.9% 平均召回率。我们的方法基于底层的 NNS 动作识别算法，该算法使用时空深度学习网络与婴幼儿专用姿态估计，在 960 个 2.5 秒平衡的 NNS 与非 NNS 片段的二分类中达到 94.9% 准确率。在我们第二个独立的公开 NNS 真实场景数据集上测试，NNS 识别分类达到 92.3% 准确率，NNS 分割达到 90.8% 精度与 84.2% 召回率。
引用
@article{arxiv.2303.16867,
title = {A Video-based End-to-end Pipeline for Non-nutritive Sucking Action Recognition and Segmentation in Young Infants},
author = {Shaotong Zhu and Michael Wan and Elaheh Hatamimajoumerd and Kashish Jain and Samuel Zlota and Cholpady Vikram Kamath and Cassandra B. Rowan and Emma C. Grace and Matthew S. Goodwin and Marie J. Hayes and Rebecca A. Schwartz-Mette and Emily Zimmerman and Sarah Ostadabbas},
journal= {arXiv preprint arXiv:2303.16867},
year = {2023}
}