UISearch：基于图的多模态企业UI屏幕检索
计算机视觉与模式识别
2025-11-25 v1
摘要
企业软件公司维护着数千个用户界面屏幕，跨越产品和版本，这为设计一致性、模式发现和合规性检查带来关键挑战。现有方法依赖视觉相似性或文本语义，缺乏对用户界面（UI）构成所必需的结构属性的显式建模。我们提出了一种基于图的表示方法，将UI屏幕截图转换为编码层次关系和空间布局的属性图，这种表示方式可能通用于文档布局、建筑图等结构化视觉领域。对比图自编码器学习嵌入，保留视觉、结构和语义属性的多层次相似性。综合分析表明，我们的结构嵌入在判别性方面优于领先的视觉编码器，代表了UI表示表达力的根本性进步。我们实现了UISearch，一个多模态搜索框架，组合结构嵌入与语义搜索，通过可组合查询语言实现。 在20,396个金融软件UI上，UISearch实现了0.92的Top-5准确率，中位数延迟为47.5ms（P95: 124ms），可扩展至20,000+屏幕。混合索引架构支持复杂查询，实现对视觉方法无法实现的细粒度UI区分。
引用
@article{arxiv.2511.19380,
title = {UISearch: Graph-Based Embeddings for Multimodal Enterprise UI Screenshots Retrieval},
author = {Maroun Ayli and Youssef Bakouny and Tushar Sharma and Nader Jalloul and Hani Seifeddine and Rima Kilany},
journal= {arXiv preprint arXiv:2511.19380},
year = {2025}
}
备注
12 pages, 2 figures, 3 algorithms, 4 tables