From Image to UML: First Results of Image Based UML Diagram Generation Using LLMs

在软件工程过程中，系统首先使用诸如 UML 之类的建模语言进行指定。这些初始设计常常是协作性创建的，多数情况下是在会议上通过白板、纸或其他快速支持工具创建图 drawings 和蓝图，以后需要 formalized。这些正式、机器可读的模型是确保模型能成为自动化进程（例如 low-code 生成管道、基于模型的测试系统等）的关键。但从手绘图转换为实际模型是一个耗时的过程，有时会导致这些图仅被添加为软件文档中的非正式图像，从而大大降低其价值。为避免这一繁琐任务，我们探索使用大型语言模型 (LLM) 从给定绘图生成形式化表示的方法。更具体地说，我们评估了不同 LLM 将 UML 类图图像转换为图像中所表示的实际模型的能力。虽然结果足以将该方法用作模型驱动工程管道的一部分，但我们也指出了其当前局限性，以及保持人类在环以克服这些局限性的必要性。