VibeAct：从振动到动作以实现富含接触的反应式机器人灵巧操作
机器人学
2026-06-25 v1
摘要
灵巧操作依赖于快速、局部且常被视觉遮挡的接触事件。压电麦克风提供紧凑高带宽方式感知这些交互，但由此产生的振动声学信号难以被充分真实模拟，以用于灵巧机械手上的端到端模拟到真实策略学习。我们提出VibeAct，一种通过接触与滑移的共享物理表示桥接真实振动触觉感知与基于模拟的强化学习框架。在真实世界中，我们将压电麦克风嵌入灵巧机械手并通过遥操作收集振动声学数据，随后在标定数字克隆中回放录音以自动标注每指接触与滑移。触觉估计器学习从真实麦克风波形预测接触与滑移，而操作策略在模拟中基于直接从模拟接触计算的同一表示训练。此解耦使策略利用快速触觉反馈而无需模拟原始音频。在跨越重抓、手中重定向与插入的五个富含接触任务上，VibeAct在模拟中持续优于本体感知与点云基线，在需持续反应控制的任务上收益最大，其中连续滑移幅值通道被证明是最具信息量的观测。学到的策略迁移到物理灵巧手-臂平台，提升部署任务的成功率。项目视频与额外细节见 https://vibeact.github.io/。
引用
@article{arxiv.2606.27344,
title = {VibeAct: Vibration to Actions for Contact-Rich Reactive Robot Dexterity},
author = {Yuemin Mao and Uksang Yoo and Jean Oh and Jonathan Francis and Jeffrey Ichnowski},
journal= {arXiv preprint arXiv:2606.27344},
year = {2026}
}