讲述你的故事：面向交互式内容创建的任务型对话

人们拍摄照片和视频以重温并分享具有个人意义的记忆。近来，媒体蒙太奇（故事）因其直观且强大的叙事能力而成为分享这些记忆的流行方式。然而，创建此类蒙太奇通常涉及大量手动搜索、点击和选择，耗时且繁琐，对用户体验造成不利影响。为缓解此问题，我们提出用于蒙太奇创建的任务型对话，作为一种新颖的交互式工具，从媒体集合中无缝搜索、编译和编辑蒙太奇。据我们所知，我们的工作是首个将多轮对话用于这一极具挑战性应用的研究，扩展了此前研究简单媒体检索任务的文献。我们收集了一个名为 C3（Conversational Content Creation）的新数据集，包含 1 万段基于从大型媒体集合模拟出的媒体蒙太奇所构建的对话。我们采用模拟与改写方法来收集这些对话，以兼顾成本与时间效率，同时贴近自然语言分布。我们对最先进语言模型的分析与基准测试展示了数据集中存在的多模态挑战。最后，我们展示了一款真实移动端演示应用，证明了所提工作在现实应用中的可行性。我们的代码与数据将公开可用。