基于多模态感知与机器学习比较由社交机器人交付的纸质与口头装配指令
人机交互
2025-06-03 v2 机器人学
摘要
本文比较了使用纸质指令和机器人交付指令两种方式对工人进行手动装配任务的效果。通过实验研究收集个体在不同指令方式下的生理信号（血容量脉搏(BVP)和电皮肤活性(EDA)），进行了比较分析。此外，还收集了个体使用NASA任务负荷指数(TLX)调查的响应数据。进一步将收集的生理信号映射到参与者的NASA TLX响应，以预测其工作负荷。对于两种分类问题，我们比较了卷积神经网络(CNN)和长短期记忆网络(LSTM)模型的性能。结果表明，对于基于CNN的方法，使用多模态数据（包括BVP和EDA）的准确率优于仅使用BVP（约高出8.38%）和仅使用EDA（约高出20.49%）。我们的LSTM模型在使用多模态数据时也表现更佳（相对于仅使用BVP高出约8.38%，相对于仅使用EDA高出约6.70%）。总体而言，CNN的分类性能优于LSTM，高出7.72%。基于CNN的模型能够在训练几分钟内给出更好的分类结果（相对于LSTM模型，在所有NASA TLX响应上的平均准确率提高约17.83%）。
引用
@article{arxiv.2503.16512,
title = {Multimodal Sensing and Machine Learning to Compare Printed and Verbal Assembly Instructions Delivered by a Social Robot},
author = {Ruchik Mishra and Laksita Prasanna and Adair Adair and Dan O Popa},
journal= {arXiv preprint arXiv:2503.16512},
year = {2025}
}
备注
Accepted to IEEE CASE 2025