AirSketch：从运动生成草图
计算机视觉与模式识别
2025-07-01 v3 人工智能
图形学
摘要
插图是人类表达和沟通的基本方式。某些伴随语言的运动类型可提供这种说明性的表达方式。虽然增强现实和虚拟现实技术（AR/VR）已引入工具用于通过手部运动生成绘图，但通常需要高成本的硬件和额外的数字标记，从而限制了其可及性和便携性。此外，空中绘图需要相当大的技能才能实现审美效果。为此，我们提出AirSketch概念，直接从手部运动生成准确且视觉连贯的草图，无需复杂的头盔或标记。我们设计了一种基于增强的自监督训练程序，使可控图像扩散模型能够学习将高度噪声的手部跟踪图像翻译为干净、审美良好的草图，同时保留原始跟踪数据的关键视觉线索。我们提出了两个用于研究此问题的空中绘图数据集。我们的发现表明，除了能够从精确空间输入生成逼真的照片之外，可控图像扩散还能有效地从噪声输入生成精炼、清晰的草图。我们的工作是推动无标记空中绘图的初始步骤，并揭示了可控扩散模型在AirSketch和AR/VR中的不同应用。
引用
@article{arxiv.2407.08906,
title = {AirSketch: Generative Motion to Sketch},
author = {Hui Xian Grace Lim and Xuanming Cui and Yogesh S Rawat and Ser-Nam Lim},
journal= {arXiv preprint arXiv:2407.08906},
year = {2025}
}