延长工具寿命：通过寿命引导的强化学习学习通用工具的巧妙使用
机器人学
2025-07-28 v2 机器学习
摘要
在任务需求不确定的不可达环境中，机器人通常依赖缺乏预定义使用策略的通用工具。这些工具并非为特定操作而设计，因此其寿命对使用方式高度敏感。这带来了一个根本性挑战：机器人如何学习一种既能完成任务又能延长工具寿命的工具使用策略？在这项工作中，我们通过引入一个在策略优化过程中将工具寿命作为因素的强化学习(RL)框架来应对这一挑战。我们的框架利用有限元分析(FEA)和Miner法则，基于累积应力估计剩余使用寿命(RUL)，并将RUL整合到RL奖励中，以引导策略学习朝向寿命引导的行为。为了处理RUL只能在任务执行后估计的事实，我们引入了一种自适应奖励归一化(ARN)机制，该机制根据估计的RUL动态调整奖励缩放，确保稳定的学习信号。我们在模拟和真实世界的工具使用任务中验证了我们的方法，包括使用多种通用工具进行物体移动和开门。学习到的策略一致地延长了工具寿命（在模拟中最高达8.01倍），并有效地迁移到真实世界环境中，证明了学习寿命引导的工具使用策略的实用价值。
引用
@article{arxiv.2507.17275,
title = {Prolonging Tool Life: Learning Skillful Use of General-purpose Tools through Lifespan-guided Reinforcement Learning},
author = {Po-Yen Wu and Cheng-Yu Kuo and Yuki Kadokawa and Takamitsu Matsubara},
journal= {arXiv preprint arXiv:2507.17275},
year = {2025}
}
备注
Under review