协同神经绘画
计算机视觉与模式识别
2023-12-05 v1
摘要
绘画的过程能激发创造力与理性规划。然而，现有的生成式 AI 主要侧重于生成视觉上令人愉悦的艺术作品，而未强调绘画过程。我们引入了一项新任务，即协同神经绘画（Collaborative Neural Painting, CNP），以促进人与机器之间的协同艺术绘画生成。给定任意数量的用户输入笔触作为上下文，或仅给定目标对象类别，CNP 应生成一系列笔触以支持完成一幅连贯的画作。重要的是，该过程可以是渐进且迭代的，从而允许用户在任何阶段进行修改，直至完成。此外，我们提出使用基于参数化笔触序列的绘画表示来解决该任务，这使得编辑与合成操作均易于进行。这些参数化笔触由基于 Transformer 的架构结合一种新颖的注意力机制进行处理，以建模输入笔触与待完成笔触之间的关系。我们还提出了一种新的掩码方案以反映 CNP 的交互特性，并采用扩散模型作为基础学习过程，以发挥其在生成领域的有效性与多样性。最后，为了在该新任务上开发并验证方法，我们引入了一个新的绘画对象数据集与评估协议，以对 CNP 进行定量与定性基准测试。我们展示了该方法的有效性以及 CNP 任务作为未来研究有前景方向的潜力。
引用
@article{arxiv.2312.01800,
title = {Collaborative Neural Painting},
author = {Nicola Dall'Asen and Willi Menapace and Elia Peruzzo and Enver Sangineto and Yiming Wang and Elisa Ricci},
journal= {arXiv preprint arXiv:2312.01800},
year = {2023}
}
备注
Submitted to Computer Vision and Image Understanding, project website at https://fodark.github.io/collaborative-neural-painting/