为何要看脸？——基于仪器化旁观者反应的机器人错误检测探索
机器人学
2025-12-02 v1 人机交互
摘要
人类如何识别并纠正社会失误？我们通过观察同伴、解码旁观者中细微的线索——抬眉毛、笑声——来评估环境与自己的行为，从而实现社交能力。然而，机器人却难以感知并利用这些细腻的反应。本文采用一种新颖的颈部挂载装置记录下颌部区域的面部表情，探索先前未被利用的数据如何捕捉和解释人类对机器人错误的反应。首先，我们开发了 NeckNet-18，这是一个三维面部重建模型，将颈部摄像头捕获的表情映射到面部关键点和头部运动。随后，我们利用这些面部反应开发了机器人错误检测模型，优于基于 OpenFace 或视频数据的常规方法，尤其在同被试数据上的泛化性更佳。通过本工作，我们主张扩展人类在环式机器人感知，推动机器人更顺畅地融入多样化的人类环境，拓展社交线索检测的边界，并开启自适应机器人技术的新方向。
引用
@article{arxiv.2512.00262,
title = {"Why the face?": Exploring Robot Error Detection Using Instrumented Bystander Reactions},
author = {Maria Teresa Parreira and Ruidong Zhang and Sukruth Gowdru Lingaraju and Alexandra Bremers and Xuanyu Fang and Adolfo Ramirez-Aristizabal and Manaswi Saha and Michael Kuniavsky and Cheng Zhang and Wendy Ju},
journal= {arXiv preprint arXiv:2512.00262},
year = {2025}
}