DexDrummer：面向手部、接触丰富且长时程的灵巧机器人鼓手

在手部、接触丰富且长时程的灵巧操作任务中保持稳定仍是机器人领域的未解之谜。先前的手部灵巧研究往往将上述三项挑战单独考虑，却未将其融合到单一复杂任务中。为进一步检验灵巧操作能力，我们提出以鼓乐为灵巧操作的测试基准。鼓乐自然地将所有三项挑战融合其中：它涉及通过手指稳定和调整鼦棒的位置进行手部控制，通过反复击打鼓面实现接触丰富的交互，以及在换鼓和维持节奏时进行长时程协调。我们提出DexDrummer，一种基于层次化面向对象中心的双手鼓乐策略，采用仿真训练并实现仿真到现实的迁移。该框架通过结合轨迹规划与残差强化学习校正，实现鼦棒之间快速切换，从而降低纯强化学习的探索难度。灵巧操作策略处理接触丰富的动力学，依据显式建模手指-鼦棒及鼦棒-鼓面相互作用的奖励函数进行引导。在仿真环境中，我们展示该策略能够演奏两种音乐风格：多鼓架双手歌曲和需要更高灵巧程度的技术性练习。在仿真的双手任务中，DexDrummer的灵巧、反应性策略相较于固定抓取策略，在简单歌曲上提高了1.87倍，在困难歌曲上提高了1.22倍的F1分数。在实际任务中，我们展示了多鼓架 setup下的演奏成绩。DexDrummer能够以1.0的F1分数演奏训练歌曲及其延伸版本。