Re:Draw -- 上下文感知翻译作为艺术创作的可控方法
计算机视觉与模式识别
2024-12-23 v1 人工智能
图形学
多媒体
摘要
我们引入了上下文感知翻译（context-aware translation），这是一种结合了图像修复（inpainting）和图像到图像翻译优势的新方法，能够同时尊重原始输入和上下文相关性，而现有方法在此方面存在不足。通过这种方法，我们的方案为 AI 在艺术创作（从动画到数字艺术）中的可控使用开辟了新途径。作为一个用例，我们将该方法应用于根据任意设计规范重绘任何手绘动画角色的眼睛——眼睛作为吸引观众注意力并传达各种情感的焦点，然而传统动画的劳动密集型性质往往导致眼睛设计的复杂性和一致性做出妥协。此外，我们消除了对训练生产数据的需求，并提出了一种新的角色识别方法，该方法无需针对特定制作进行微调即可超越现有工作。这一提议的用例有助于在整个制作过程中保持一致性，并在不增加制作成本缺点的情况下解锁更大胆、更详细的设计选择。用户研究表明，上下文感知翻译在 95.16% 的情况下优于现有工作。
引用
@article{arxiv.2401.03499,
title = {Re:Draw -- Context Aware Translation as a Controllable Method for Artistic Production},
author = {Joao Liborio Cardoso and Francesco Banterle and Paolo Cignoni and Michael Wimmer},
journal= {arXiv preprint arXiv:2401.03499},
year = {2024}
}