SimTube：基于多模态 AI 与用户画像生成模拟视频评论
人机交互
2024-11-19 v2
摘要
受众反馈对优化视频内容至关重要，但通常在发布后才获得，限制了创作者及时调整的能力。为填补这一空白，我们推出了 SimTube，这是一个生成式 AI 系统，旨在在视频发布前以视频评论的形式模拟受众反馈。SimTube 具有一个计算流水线，该流水线整合来自视频的多模态数据——如视觉、音频和元数据——以及源自广泛多样的受众人口统计语料库的用户画像，生成多样且上下文相关的反馈。此外，系统的 UI 允许创作者探索和自定义模拟评论。通过全面的评估——包括定量分析、众包评估和定性用户研究——我们表明 SimTube 生成的评论不仅相关、可信且多样，而且往往比实际受众评论更详细、信息量更大，凸显了其帮助创作者在发布前优化内容的潜力。
引用
@article{arxiv.2411.09577,
title = {SimTube: Generating Simulated Video Comments through Multimodal AI and User Personas},
author = {Yu-Kai Hung and Yun-Chien Huang and Ting-Yu Su and Yen-Ting Lin and Lung-Pan Cheng and Bryan Wang and Shao-Hua Sun},
journal= {arXiv preprint arXiv:2411.09577},
year = {2024}
}