基于注意力 LSTM 神经网络构建高光片段分类器

人类历史上正在产生比以往任何时候都更大量的数据。自然可以预期，对帮助人类筛选与分析这取之不尽的信息的技术需求会上升。这一需求存在于市场研究行业，该行业通过视频录制收集大量消费者研究数据。目前，分析视频数据的标准方法是人力劳动。市场研究人员手动审阅绝大多数消费者研究视频，以识别相关部分——高光片段。行业最先进的周转比为 2.2——每 1 小时视频内容需 2.2 小时人力。本研究中，我们提出一种基于 NLP 的高光识别与提取新方法，依托监督学习模型辅助市场研究人员筛选数据。我们的方法依赖于由长、短形式视频数据构建的手动策划用户生成高光剪辑。由于可获得视频转录文本，该问题非常适合 NLP 方法。我们评估了从梯度提升到循环神经网络的多种模型类别，比较其在高光提取与识别中的性能。随后使用四种采样方法评估最优模型，以分析远大于分类器最大输入长度的文档。我们报告独立分类器性能极高，ROC AUC 分数在 0.93–0.94 范围，但在大文档评估中观察到有效性显著下降。基于结果，我们针对多种用例建议模型/采样算法的组合。