AidUI：面向用户界面中暗模式的自动化识别
软件工程
2023-03-14 v1 计算机视觉与模式识别
人机交互
机器学习
摘要
以往研究已表明UI暗模式（即可能引导终端用户（在不知情的情况下）采取其可能并非本意之行为的用户界面）的普遍性。此类欺骗性UI设计会对终端用户造成不利影响，例如过度共享个人信息或财务损失。尽管在暗模式分类体系构建方面已取得显著研究进展，开发者和用户目前仍缺乏有助于识别、规避和应对这些往往微妙的设计母题的指引。然而，暗模式的自动化识别是一项具有挑战性的任务，因为单一类型模式的具体表现可能形态各异，导致显著的可变性。在本文中，我们迈出第一步，以理解常见UI暗模式在多大程度上可被现代软件应用自动识别。为此，我们引入AidUI，一种利用计算机视觉与自然语言处理技术识别应用截图中 signify 十种独特UI暗模式存在的一组视觉与文本线索的新型自动化方法，从而实现其检测、分类与定位。为评估我们的方法，我们构建了ContextDP，即当前最大的完全定位UI暗模式数据集，涵盖175张移动端和83张网页端UI截图，包含301个暗模式实例。我们的评估结果表明，\AidUI在检测暗模式实例时达到总体精确率0.66、召回率0.67、F1分数0.65，报告少量假阳性，并能够以约0.84的IoU分数对检测到的模式进行定位。此外，我们所研究的暗模式中有显著子集可被相当可靠地检测（F1分数超过0.82），且未来研究方向或有助于改进对其他模式的检测。
引用
@article{arxiv.2303.06782,
title = {AidUI: Toward Automated Recognition of Dark Patterns in User Interfaces},
author = {SM Hasan Mansur and Sabiha Salma and Damilola Awofisayo and Kevin Moran},
journal= {arXiv preprint arXiv:2303.06782},
year = {2023}
}
备注
13 pages, Accepted at The 45th IEEE/ACM International Conference on Software Engineering (ICSE 2023), Melbourne, Australia, May 14th-20th, 2023