面向应用间检索与设计一致性检查的计算方法
人机交互
2023-09-20 v1 信息检索
机器学习
摘要
从移动用户界面（UI）中提取语义表示，并将这些表示用于设计师的决策过程，已显示出作为有效计算设计支持工具的潜力。现有方法依赖于在小型移动 UI 数据集上训练的机器学习模型来提取语义向量，并使用截图对截图的比较，在给定查询截图时检索外观相似的 UI。然而，这些方法的可用性有限，因为它们通常不开源，且训练流程复杂难以被从业者复现，并且无法执行截图集对截图集（即应用对应用）的检索。为此，我们（1）采用在大规模网络图像上训练的视觉模型，测试其能否以零样本方式提取 UI 表示，并超越现有专用模型；（2）使用具有数学基础的方法来实现应用间检索与设计一致性分析。我们的实验表明，我们的方法不仅改进了先前的检索模型，还支持多种新的应用。
引用
@article{arxiv.2309.10328,
title = {Computational Approaches for App-to-App Retrieval and Design Consistency Check},
author = {Seokhyeon Park and Wonjae Kim and Young-Ho Kim and Jinwook Seo},
journal= {arXiv preprint arXiv:2309.10328},
year = {2023}
}
备注
AI & HCI Workshop at the ICML 2023