你在逼我按按钮：仪器化学习的温和按钮按压

仅凭摄像头和关节感知，难以从相机和关节感知中学习 contact-rich 操控，因为接触事件只能部分被观察。我们测试了训练时仪器化，即对象感知，是否可以在不创建部署时依赖的前提下提高策略性能。具体而言，我们将按钮按压作为测试基准，使用麦克风指尖捕获与接触相关的音频。我们将仪器化按钮状态信号作为特权监督，用于微调音频编码器以构建接触事件检测器。我们将所得表示与三种 imitation learning 策略结合，使得策略仅在推断时使用视觉和音频。按钮按压成功率在各方法之间相似，但仪器化引导的音频表示始终能减少接触力。这一结果支持仪器化作为学习 contact-rich 操控策略的实用训练时辅助目标。