卡片排序模拟器：利用大语言模型增强逻辑信息架构设计
人机交互
2025-05-15 v1
摘要
卡片排序是一种常见的思维导图技术，通过让用户将项目排序到类别中，以获取用户对内容和功能组织方式的了解。为了进行更稳健的卡片排序研究，数字卡片排序工具可以通过提供快速的自动反馈来获得优势。本研究的目标是发展一种运用人工智能(AI)来增强卡片排序的仪器。为此，我们开发了卡片排序模拟器，这是一个原型工具，利用大语言模型(LLM)生成有信息量的卡片分类。为阐明仿真与实际参与者进行的卡片排序的一致性，并为仪器的设计决策提供信息，我们进行了一次以通用性为导向的比较研究。我们获得了来自实际从业者的28个预存在卡片排序研究，涉及1,399名参与者，以及多样化的内容和来源。借助该数据集，我们对实际卡片排序结果(卡片的聚类)与合成聚类在多种LLM和提示设计下的一致性进行了全面且细致的分析。互信息得分表明与真实结果聚类的一致性较好，尽管相似矩阵也显示出与心理模型不一致的现象，这可以归因于其自上而下的本质。此外，卡片数量或其标签的复杂性会影响仿真的准确性。这些发现强化了AI在卡片排序研究中作为有意义初始反馈来源的案例，并凸显了进一步研究智能用户研究工具开发与验证的必要性。
引用
@article{arxiv.2505.09478,
title = {Card Sorting Simulator: Augmenting Design of Logical Information Architectures with Large Language Models},
author = {Eduard Kuric and Peter Demcak and Matus Krajcovic},
journal= {arXiv preprint arXiv:2505.09478},
year = {2025}
}