PEg TRAnsfer 工作流识别挑战赛报告：多模态数据能否改善识别？
机器学习
2023-04-28 v3 人工智能
数据库
摘要
本文介绍了“PEg TRAnsfert 工作流识别”（PETRAW）挑战赛的设计与结果，其目标是基于视频、运动学与分割数据中的一种或多种模态开发手术工作流识别方法，以研究它们的附加价值。PETRAW 挑战赛提供了一组在虚拟模拟器上完成的 150 个 peg transfer 序列的数据集。该数据集由视频、运动学、语义分割和工作流标注组成，在三个阶段粒度层面对序列进行描述：阶段（phase）、步骤（step）和活动（activity）。向参与者提出了五项任务：其中三项涉及利用可用模态之一识别所有粒度，其余则涉及多模态组合的识别。采用平均应用相关平衡准确率（AD-Accuracy）作为评估指标，以考虑类别不平衡，且因其比逐帧评分更具临床相关性。七支队伍参与了至少一项任务，其中四支参与了所有任务。最佳结果由使用视频与运动学数据取得，参与所有任务的四支队伍 AD-Accuracy 介于 93% 与 90% 之间。基于视频/运动学的方法与单模态方法之间的改进对所有队伍均显著。然而，基于视频/运动学的方法与基于运动学的方法在测试执行时间上的差异须纳入考量。花费 20 至 200 倍以上的计算时间换取不到 3% 的改进是否值得？PETRAW 数据集已在 www.synapse.org/PETRAW 公开，以鼓励手术工作流识别的进一步研究。
引用
@article{arxiv.2202.05821,
title = {PEg TRAnsfer Workflow recognition challenge report: Does multi-modal data improve recognition?},
author = {Arnaud Huaulmé and Kanako Harada and Quang-Minh Nguyen and Bogyu Park and Seungbum Hong and Min-Kook Choi and Michael Peven and Yunshuang Li and Yonghao Long and Qi Dou and Satyadwyoom Kumar and Seenivasan Lalithkumar and Ren Hongliang and Hiroki Matsuzaki and Yuto Ishikawa and Yuriko Harai and Satoshi Kondo and Mamoru Mitsuishi and Pierre Jannin},
journal= {arXiv preprint arXiv:2202.05821},
year = {2023}
}
备注
Challenge report doi.org/10.1016/j.cmpb.2023.107561