SHAPE-IT：利用大语言模型探索文本到形状显示的生成式形状变换行为
硬件体系结构
2024-09-11 v1
摘要
本文介绍文本到形状显示，这是一种通过自然语言命令生成针对针式形状显示器动态形状变换的新方法。通过利用大语言模型（LLMs）和 AI-chaining，我们的方法允许用户通过文本提示在需要时创建形状变换行为，而无需编写程序。我们描述了为实现此系统所必需的基础方面，包括识别关键生成元素（原始图形、动画和交互）以及设计要求以增强用户交互，基于形式化探索和迭代设计过程。基于这些见解，我们开发了 SHAPE-IT，这是一个针对 24 x 24 形状显示器的 LLM 基于作者工具，将用户的文本命令翻译为可执行代码，并通过基于 Web 的控制界面进行快速探索。我们以两种方式评估了 SHAPE-IT 的有效性：1）性能评估和 2）用户评估（N= 10）。研究结论突出了利用 AI 快速构思广泛形状变换行为的能力。然而，研究结果也暴露了与准确性相关的挑战和局限性，促使进一步探索以改进框架以更好地适用于形状变换系统的独特要求。
关键词
引用
@article{arxiv.2409.06204,
title = {PIM-MMU: A Memory Management Unit for Accelerating Data Transfers in Commercial PIM Systems},
author = {Dongjae Lee and Bongjoon Hyun and Taehun Kim and Minsoo Rhu},
journal= {arXiv preprint arXiv:2409.06204},
year = {2024}
}
备注
Accepted for publication at the 57th IEEE/ACM International Symposium on Microarchitecture (MICRO-57), 2024