媒体内容图谱：使用多模态大语言模型探索和调查多维媒体空间的流程
人机交互
2025-04-24 v1 社会与信息网络
摘要
随着数字媒体使用持续演变并影响生活的各个方面，开发灵活且可扩展的工具来研究复杂的媒体体验至关重要。本研究介绍了媒体内容图谱（MCA），这是一个新颖的流程，旨在帮助研究人员超越传统的屏幕使用指标来研究大规模屏幕数据。利用多模态大语言模型（MLLMs），MCA能够实现逐时刻内容分析、基于内容的聚类、主题建模、图像检索和交互式可视化。我们在112名成年人整整一个月内持续捕获的112万张智能手机屏幕截图（在屏幕使用期间捕获）上进行了评估，MCA以前所未有的规模促进了开放式探索和假设生成以及假设驱动的研究。专家评估者强调了其可用性以及研究和干预设计的潜力，聚类结果被评为96%相关，描述准确率为83%。通过将方法论可能性与特定领域需求联系起来，MCA加速了归纳和演绎探究，为媒体和人机交互研究提供了新的机遇。
引用
@article{arxiv.2504.16323,
title = {Media Content Atlas: A Pipeline to Explore and Investigate Multidimensional Media Space using Multimodal LLMs},
author = {Merve Cerit and Eric Zelikman and Mu-Jung Cho and Thomas N. Robinson and Byron Reeves and Nilam Ram and Nick Haber},
journal= {arXiv preprint arXiv:2504.16323},
year = {2025}
}
备注
Accepted to CHI 2025, in press. See the project page at mediacontentatlas.github.io