基于互动分析的 CCATT 混合现实训练中的学员动作识别
计算机视觉与模式识别
2025-09-23 v1 人工智能
摘要
本研究考察了 Critical Care Air Transport Team（CCATT）成员如何通过混合现实模拟来进行训练，以复制空中医疗转运的高压环境。每支队伍——包括医生、护士和呼吸治疗师——必须在飞行期间通过管理通风机、静脉泵和吸氧装置来稳定受伤的士兵。熟练的表现需要临床专长和认知技能，如情境意识、快速决策、有效沟通和协同任务管理，这些技能都必须在压力下维持。近期的仿真技术和多模态数据分析的进展使得更客观、全面的绩效评估成为可能。相比之下，传统的教员主导评估具有主观性，可能忽视关键事件，从而限制了可推广性和一致性。然而，基于 AI 的自动化和更客观的评估指标仍需人类输入来训练 AI 算法，以评估环境噪声下的复杂团队动态以及多人跟踪中的准确重识别。为此，我们引入了一个系统化、数据驱动的评估框架，将认知任务分析（CTA）与多模态学习分析（MMLA）相结合。我们为 CCATT 训练开发了特定的 CTA 模型，并开发了使用微调的人-物互动模型——Cascade Disentangling Network（CDN）的基于视觉的方法，来检测和跟踪学员与设备之间的相互作用。这些相互作用自动产生绩效指标（如反应时间、任务持续时间），并映射到针对 CCATT 操作的分层 CTA 模型中，从而实现可解释、领域相关的绩效评估。
引用
@article{arxiv.2509.17888,
title = {Trainee Action Recognition through Interaction Analysis in CCATT Mixed-Reality Training},
author = {Divya Mereddy and Marcos Quinones-Grueiro and Ashwin T S and Eduardo Davalos and Gautam Biswas and Kent Etherton and Tyler Davis and Katelyn Kay and Jill Lear and Benjamin Goldberg},
journal= {arXiv preprint arXiv:2509.17888},
year = {2025}
}