提示增强的分层 Transformer 通过时序动作分割提升心肺复苏教学
计算机视觉与模式识别
2023-09-01 v1
摘要
绝大多数遭遇意外心脏骤停的患者由路人实施心肺复苏(CPR)以图挽回生命，但因操作不合格而徒劳。幸运的是，诸多研究表明规范训练有助于提高复苏成功率，而这持续需要新颖技术的无缝结合以取得进一步进展。为此，我们采集了一个定制 CPR 视频数据集，其中受训者依据公认指南独立在模拟人上实施复苏，进而设计了一个辅助工具箱，通过现代深度学习方法协助监督与纠正中间潜在问题。本研究实证性地将该问题视为计算机视觉中的时序动作分割(TAS)任务，旨在以帧级对未裁剪视频进行分割。在此，我们提出提示增强的分层 Transformer (PhiTrans)，其集成三个不可或缺模块：基于文本提示的视频特征提取器(VFE)、基于 Transformer 的动作分割执行器(ASE)与基于回归的预测精校准器(PRC)。模型骨干优先源自为 TAS 任务采集的三个公认公开数据集(GTEA、50Salads 与 Breakfast)上的应用，这构成了在 CPR 数据集上挖掘分割流程的基础。总体而言，我们前所未有地探究了一条可行流程，借助动作分割与前沿深度学习技术切实提升 CPR 教学合格度。相关实验表明我们的实现在多项指标上超过 91.0%。
引用
@article{arxiv.2308.16552,
title = {Prompt-enhanced Hierarchical Transformer Elevating Cardiopulmonary Resuscitation Instruction via Temporal Action Segmentation},
author = {Yang Liu and Xiaoyun Zhong and Shiyao Zhai and Zhicheng Du and Zhenyuan Gao and Qiming Huang and Canyang Zhang and Bin Jiang and Vijay Kumar Pandey and Sanyang Han and Runming Wang and Yuxing Han and Peiwu Qin},
journal= {arXiv preprint arXiv:2308.16552},
year = {2023}
}
备注
Transformer for Cardiopulmonary Resuscitation