用于人机交互中失败检测的旁观者情感反应检测（BAD）数据集

要使机器人能够修复自身错误，它必须首先知道自己犯了错。人们检测错误的一种方式是通过旁观者的隐性反应——他们的困惑、窃笑或咯咯笑向我们暗示发生了意外。为使机器人能够检测并响应旁观者对任务失败的反应，我们开发了一种新方法以引发旁观者对人与机器人错误的反应。利用 46 个不同刺激视频（呈现各类人与机器任务失败），我们从 54 名参与者处收集了总计 2452 段人类反应的网络摄像头视频。为测试所收集数据的可行性，我们将该旁观者反应数据集作为输入送入深度学习模型 BADNet 以预测失败发生。我们测试了不同的数据标注方法并了解了它们如何影响模型性能，取得了高于 90% 的准确率。我们讨论了建模旁观者反应与预测失败的策略，以及该方法如何用于真实世界机器人部署中以检测错误并提升机器人性能。作为本工作的一部分，我们还贡献了旁观者情感反应检测（BAD）数据集，以支持更优预测模型的开发。