以任务型对话系统浏览关联记忆

近年来,得益于智能手机与智能眼镜的出现,用户所捕获的个人媒体数量呈增长趋势,形成了大型媒体集合。尽管对话是一种直观的人机界面,当前工作主要聚焦于单轮自然语言媒体检索以帮助用户查询其媒体并重历记忆。这严重限制了搜索功能,因为用户既不能追问后续查询,也无法在未先表述单轮查询的情况下获取信息。本工作中,我们提出将关联记忆对话作为强大工具,通过多轮交互式对话赋能用户搜索其媒体集合。为此,我们收集了一个新的任务型对话数据集COMET,包含$11.5k$段用户<->助手对话(总计$103k$条话语),基于模拟的个人记忆图。我们采用了一种资源高效的两阶段数据收集流程,使用:(1)一种新颖的多模态对话模拟器,生成基于记忆图的合成对话流;以及(2)人工改写以获得自然语言话语。我们分析COMET, formulate四项主要任务以基准化有意义的进展,并采用最先进的语言模型作为强基线,以凸显我们数据集所捕获的多模态挑战。