FabricFlowNet：基于流的策略进行双手布料操作
机器人学
2022-04-12 v3 计算机视觉与模式识别
摘要
我们解决目标导向布料操作这一问题，由于布料的可变形性，这是一项具有挑战性的任务。我们的洞见是，光流——一种通常用于视频中运动估计的技术——也能为观测图像与目标图像间对应布料位姿提供有效表示。我们提出 FabricFlowNet（FFN），一种利用流既作为输入又作为动作表示的布料操作策略以提升性能。FabricFlowNet 还能基于期望目标在双手与单臂动作间优雅切换。我们表明 FabricFlowNet 显著优于接收图像输入的最先进无模型与基于模型的布料操作策略。我们还展示了双手系统上的真实实验，证明了有效的 sim-to-real 迁移。最后，我们表明我们的方法在仅以单一方形布料训练时可泛化到其他布料形状，如 T 恤与长方形布料。视频及其他补充材料见：https://sites.google.com/view/fabricflownet。
引用
@article{arxiv.2111.05623,
title = {FabricFlowNet: Bimanual Cloth Manipulation with a Flow-based Policy},
author = {Thomas Weng and Sujay Bajracharya and Yufei Wang and Khush Agrawal and David Held},
journal= {arXiv preprint arXiv:2111.05623},
year = {2022}
}
备注
CoRL 2021