基于监视的交互式机器人

我们构建了一个移动监视机器人，实时流式传输视频并响应语音指令，用户可通过手机或浏览器监控和操控。系统使用两个树莓派 4：一个装在差动驱动底盘上，配有摄像头、麦克风和扬声器；另一个作为中央单元，提供实时视频流并运行感知模块。视频通过 FFmpeg 发送。利用 YOLOv3 检测场景中的物体，以支持导航和事件感知。对于语音交互，我们使用 Python 库实现语音识别、多语言翻译和文本转语音，机器人能够识别语音指令并以请求的语言读取响应。Kinect RGB-D 传感器提供视觉输入和障碍线索。在室内测试中，机器人可在 CPU 上实现交互式帧率下检测常见物体，准确识别指令，并将其转换为动作而无需人工控制。该设计依赖商用硬件和开源软件，易于复现。我们讨论了局限性和实际扩展，包括超声波测距数据融合、GPU 加速，以及添加人脸和文本识别。