基于视觉建模与显著性分析预测并解释移动 UI 可点击性
人机交互
2025-07-29 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
我们采用基于深度学习的方法，仅依据像素（而非先前工作所需的视图层级）来预测移动 UI 截图中被选元素是否会被用户感知为可点击。为了帮助设计师更好地理解模型预测，并提供比单纯预测更具可操作性的设计反馈，我们额外使用 ML 可解释性技术来帮助解释模型的输出。我们使用 XRAI 来高亮输入截图中对所选区域可点击性预测影响最强的区域，并使用 k-Nearest Neighbors 从数据集中呈现对可点击性感知具有相反影响的最相似移动 UI。
引用
@article{arxiv.2204.02448,
title = {Predicting and Explaining Mobile UI Tappability with Vision Modeling and Saliency Analysis},
author = {Eldon Schoop and Xin Zhou and Gang Li and Zhourong Chen and Björn Hartmann and Yang Li},
journal= {arXiv preprint arXiv:2204.02448},
year = {2025}
}
备注
CHI'22