CalliRewrite:无监督从书法图像中恢复手写行为
机器人学
2024-05-28 v1 人工智能
摘要
类人规划技能与灵巧操作长期以来一直是机器人学和人工智能领域的挑战。重新诠释书法这一任务涉及笔画分解与灵巧工具控制,极具难度。以往的工作主要集中于单一工具的监督学习,限制了机器人在跨领域文本复制中的性能。为应对这些挑战,我们提出CalliRewrite:一种由粗到精的方法,使机器人手臂能够从多样化的书法图像中发现并恢复合理的书写顺序,无需标注示范。我们的模型实现了对各种书写工具的精细控制。具体而言,一个无监督的图像到序列模型将给定的书法字形分解以获得粗略的笔画序列。通过强化学习算法,对模拟画笔进行微调以生成用于机器人手臂控制的风格化轨迹。在仿真和物理机器人场景中的评估表明,我们的方法成功复现了未见过的字体和风格,同时在未知字符上实现了完整性。
引用
@article{arxiv.2405.15776,
title = {CalliRewrite: Recovering Handwriting Behaviors from Calligraphy Images without Supervision},
author = {Yuxuan Luo and Zekun Wu and Zhouhui Lian},
journal= {arXiv preprint arXiv:2405.15776},
year = {2024}
}
备注
8 pages, accepted as ICRA 2024 contributed paper