猜猜我的屏幕上有什么？基于主动学习的智能手机截图聚类
计算机视觉与模式识别
2019-01-11 v2 机器学习
多媒体
摘要
人们日常活动的很大一部分是通过数字设备体验的。尤其是智能手机，已成为内容消费和社交互动的首选界面之一。因此，识别频繁捕获的智能手机截图中嵌入的内容，是分析活动交互与内容随时间切换的媒体行为研究和健康干预规划的关键前提。截图图像可描绘异构的内容与应用，使得即便对人类而言，先验地定义恰当的类别体系也是一项繁琐的任务。截屏幕上捕获的敏感数据的隐私保护意味着人工标注的代价高昂，因为该工作无法众包。因此，有必要考察无监督与半监督方法在数字截图分类中的效用。本工作探讨了在仅有少量标签可用时，对大型截图集合应用聚类的影响。本文提出了一个将 K-Means 聚类与主动学习相结合的框架，以高效利用有标签与无标签样本，旨在发现潜在类别并刻画大规模截图数据集合。我们测试了 SVM 嵌入或 XGBoost 嵌入的类别概率传播方案是否能提供更规整的聚类配置。我们提取并融合了截图图像的视觉与文本向量表示，以评估多模态特征对整体性能的相对贡献。
引用
@article{arxiv.1901.02701,
title = {Guess What's on my Screen? Clustering Smartphone Screenshots with Active Learning},
author = {Agnese Chiatti and Dolzodmaa Davaasuren and Nilam Ram and Prasenjit Mitra and Byron Reeves and Thomas Robinson},
journal= {arXiv preprint arXiv:1901.02701},
year = {2019}
}
备注
10 pages