Fashion Matrix：通过对话编辑照片

利用大语言模型（LLM）构建AI系统在多个领域引起了广泛关注。将LLM扩展到时尚领域具有巨大的商业潜力，但由于时尚相关生成中复杂的语义交互，也面临固有挑战。为解决此问题，我们开发了一个名为Fashion Matrix的分层AI系统，致力于通过对话编辑照片。该系统支持多样的提示驱动任务，包括服装或配饰的替换、重新着色、添加与移除。具体而言，Fashion Matrix以LLM为基础支撑并与用户进行迭代交互。它采用一系列语义分割模型（如Grounded-SAM、MattingAnything等）根据用户指令勾勒特定编辑掩码。随后，利用视觉基础模型（如Stable Diffusion、ControlNet等）从文本提示和掩码生成编辑后的图像，从而实现时尚编辑流程的自动化。实验证明了Fashion Matrix在探索时尚编辑领域中功能各异的预训练模型协同潜力方面的出色能力。