FRIDA：具备可微分 Real2Sim2Real 规划环境的协作绘画机器人
机器人学
2022-10-04 v1
摘要
绘画是一种艺术性的视觉内容生成过程，旨在实现艺术家的高层交流目标，而这些目标在整个创作过程中可能动态变化。本文提出一个用于发展艺术的框架与机器人计划（FRIDA），使人能够通过与绘画机器人协作，利用语言描述或图像等简单输入在画布上创作绘画。FRIDA 在计算建模创造性绘画过程方面引入了若干技术创新。首先，我们开发了一个完全可微分的绘画仿真环境，采用实到仿真再到实（real2sim2real）的思想。我们表明，相较于现有用于机器人绘画的仿真环境，我们所提出的仿真绘画环境具有更高的现实保真度。其次，为建模创作过程演化的动态性，我们开发了一种规划方法，能够基于不断演化的画布相对于高层目标持续优化绘画方案。与现有将内容生成过程与动作规划独立且顺序执行的方法不同，FRIDA 通过基于对其绘画进度的视觉感知持续重新规划并重新评估其语义目标，来适应使用颜料与画笔的随机性。我们描述了技术方法细节以及系统集成的有关情况。
引用
@article{arxiv.2210.00664,
title = {FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment},
author = {Peter Schaldenbrand and James McCann and Jean Oh},
journal= {arXiv preprint arXiv:2210.00664},
year = {2022}
}