LiveBot：基于视觉与文本上下文的直播视频评论生成
计算与语言
2018-11-30 v2
摘要
我们引入自动直播评论任务。直播评论又称“视频弹幕”，是在线视频网站上的新兴功能，允许观众实时评论像子弹一样飞过屏幕或在屏幕右侧滚动。直播评论是对视频的见解与对其他评论闲聊的混合。自动直播评论要求 AI 智能体理解视频并与同样发表评论的人类观众交互，因而是检验 AI 智能体处理动态视觉与语言能力的良好试验台。本工作中，我们构建了大规模直播评论数据集，含 2,361 个视频和 895,929 条直播评论。然后，我们引入两个基于视觉与文本上下文生成直播评论的神经模型，其性能优于序列到序列模型等先前神经基线。最后，我们提供基于检索的自动直播评论评测协议，要求模型根据对数似然分数对一组候选评论排序，并以平均倒数排名等指标评估。综上，我们展示了首个“LiveBot”。
引用
@article{arxiv.1809.04938,
title = {LiveBot: Generating Live Video Comments Based on Visual and Textual Contexts},
author = {Shuming Ma and Lei Cui and Damai Dai and Furu Wei and Xu Sun},
journal= {arXiv preprint arXiv:1809.04938},
year = {2018}
}