多模态人机交互中的连续 ErrP 检测
机器人学
2024-03-14 v1 人机交互
机器学习
摘要
人在回路方法对机器人应用至关重要。在本文研究中，我们实现了一个多模态人机交互（HRI）场景，其中仿真机器人与其人类伙伴通过语音和手势进行通信。机器人以语言宣告其意图，并使用指向手势选择合适的动作。人类伙伴则评估机器人的语言宣告（意图）是否与机器人所选动作（指向手势）相匹配。对于机器人的语言宣告与其相应动作选择不匹配的情况，我们预期在人类脑电图（EEG）中出现错误相关电位（ErrP）。这些由人类对所记录机器人动作的内在评价（在 EEG 中显现）被实时记录、在线连续分段并异步分类。对于特征选择，我们提出了一种允许前向与后向滑动窗口组合来训练分类器的方法。我们在 9 名受试者中取得了平均 91% 的分类性能。正如预期，我们也观察到受试者间相对较高的变异性。未来，所提出的特征选择方法将被扩展以允许特征选择的定制化。为此，将自动选择前向与后向滑动窗口的最佳组合，以解释分类性能的受试者间变异性。此外，我们计划在交互式强化学习中使用错误情况下由 ErrP 显现的内在人类错误评价，以改善多模态人机交互。
引用
@article{arxiv.2207.12267,
title = {Continuous ErrP detections during multimodal human-robot interaction},
author = {Su Kyoung Kim and Michael Maurus and Mathias Trampler and Marc Tabie and Elsa Andrea Kirchner},
journal= {arXiv preprint arXiv:2207.12267},
year = {2024}
}