利用多模态融合支持用户自主性以检测用户何时需要社交机器人的协助

对于任何辅助机器人而言，优先考虑用户的自主性至关重要。对于在任务环境中工作的机器人，要有效维持用户的自主性，它必须提供及时的协助并做出准确的决策。我们使用四个独立的高精度、低召回率模型——互视模型、任务模型、确认性注视模型和词汇模型——来预测用户对协助的需求。在四个独立模型的基础上，我们使用滑动窗口方法和随机森林分类算法来捕获时间依赖性，并通过后期融合方法将独立模型融合。后期融合方法的表现明显优于所有四个独立模型，提供了一种更全面、准确率更高的方法，以在维持用户自主性的同时更好地协助用户。这些结果为纳入额外模态以及在更多任务环境中利用辅助机器人的潜力提供了见解。