DesignMinds：通过视觉语言模型与上下文注入大语言模型增强基于视频的设计构思
人机交互
2024-11-07 v1
摘要
构思是基于视频的设计（VBD）中的关键组成部分，其中视频作为设计探索和灵感的主要媒介。生成式AI的出现提供了通过简化视频分析和促进创意生成来增强此过程的巨大潜力。在本文中，我们提出了DesignMinds，一个将最先进的视觉语言模型（VLM）与上下文增强大语言模型（LLM）集成的原型，以支持VBD中的构思。为评估DesignMinds，我们对35位设计从业者进行了被试间研究，将其性能与基线条件进行比较。结果表明，DesignMinds显著增强了构思的灵活性和原创性，同时提高了任务参与度。重要的是，该技术的引入并未对用户体验、技术接受度或可用性产生负面影响。
引用
@article{arxiv.2411.03827,
title = {DesignMinds: Enhancing Video-Based Design Ideation with Vision-Language Model and Context-Injected Large Language Model},
author = {Tianhao He and Andrija Stankovic and Evangelos Niforatos and Gerd Kortuem},
journal= {arXiv preprint arXiv:2411.03827},
year = {2024}
}