REVELIO -- 跨域通用的通用多模态任务负载估计
机器学习
2025-09-03 v1
摘要
任务负载检测是优化不同应用中人类性能的关键，但当前模型往往缺乏窄范围实验领域之外的通用性。虽然先前研究聚焦于单个任务和有限模态，但在实际场景中评估模型鲁棒性和可迁移性仍存空白。本文通过引入新型多模态数据集来弥补这些限制，该数据集将既定的认知负载检测基准扩展于实际游戏应用中，并以 n-back 测试作为科学基础。任务负载注释来源于客观绩效、主观 NASA-TLX 评级以及任务层级设计，构建全面的评估框架。对最新端到端模型（包括 xLSTM、ConvNeXt 和 Transformer 架构）在多个模态和应用领域进行系统训练与评估，以衡量其预测性能和跨域泛化能力。结果表明，多模态方法在统一基线中一致优于单模态方法，具体模态和模型架构因应用子集而异。重要的是，在不同域训练的模型迁移至新应用时表现下降，凸显了通用认知负载估计仍存挑战。这些发现提供了稳健的基线和可操作见解，以发展更具通用性的认知负载检测系统，推动人机交互和自适应系统的研究与实际应用。
引用
@article{arxiv.2509.01642,
title = {REVELIO -- Universal Multimodal Task Load Estimation for Cross-Domain Generalization},
author = {Maximilian P. Oppelt and Andreas Foltyn and Nadine R. Lang-Richter and Bjoern M. Eskofier},
journal= {arXiv preprint arXiv:2509.01642},
year = {2025}
}