基于多模态深度学习的外科任务中认知工作负荷识别
机器学习
2022-10-03 v2 人工智能
人机交互
信号处理
摘要
手术室（OR）是一个动态且复杂的环境，由多学科团队在高压环境中协同工作，以提供安全高效的病患照护。此外，外科医生经常暴露于多种心理与组织压力源下，这可能对其即时技术表现和长期健康造成负面损害。因此，许多因素可导致认知工作负荷（CWL）增加，例如时间压力、陌生解剖结构或手术室中的干扰。本文提出一种两级机器学习级联方法，用于四种不同外科任务条件下的CWL多模态识别。首先，基于迁移学习概念的模型用于识别外科医生是否正经历任何CWL。其次，卷积神经网络（CNN）利用该信息识别与各外科任务相关的不同等级CWL。所提出的多模态方法考虑了来自脑电图（EEG）、功能性近红外光谱（fNIRS）和眼瞳直径的相邻信号。信号拼接允许在时间（ temporal）和通道位置（spatial）方面的复杂关联。数据收集由伦敦帝国理工学院Hamlyn中心开发的用于外科任务与角色优化的多传感AI环境平台（MAESTRO）执行。为比较所提方法的性能，实现了一系列最先进的机器学习技术。测试表明所提模型的精确率为93%。
引用
@article{arxiv.2209.06208,
title = {Identification of Cognitive Workload during Surgical Tasks with Multimodal Deep Learning},
author = {Kaizhe Jin and Adrian Rubio-Solis and Ravi Naik and Tochukwu Onyeogulu and Amirul Islam and Salman Khan and Izzeddin Teeti and James Kinross and Daniel R Leff and Fabio Cuzzolin and George Mylonas},
journal= {arXiv preprint arXiv:2209.06208},
year = {2022}
}