基于多媒体资源消费预测的 Web 搜索中的知识增益

在非正式学习场景中，视频教程或讲座等多媒体内容的流行度显著上升。然而，用户的交互、导航行为以及相应的学习结果尚未被充分研究。该领域（亦称搜索即学习）的相关工作聚焦于行为或文本资源特征以预测学习结果与知识增益。本文中，我们探究是否可利用表征多媒体资源消费的特征，从会话内数据（即无需关于学习者的先验知识）预测 Web 搜索期间的知识增益（KG）。为此，我们提出一组与图像和视频消费相关的多媒体特征。我们的特征提取在一项有 113 名参与者参与的实验室研究中得到评估，其中我们针对雷暴与闪电形成这一给定搜索即学习任务收集了数据。我们自动分析监测的日志数据，并利用最先进的计算机视觉方法提取所见多媒体资源的特征。实验结果表明，多媒体特征可改善 KG 预测。最后，我们提供了关于 KG 预测的特征重要性（文本与多媒体）分析。