PhotoChat：用于联合图像-文本建模的包含照片分享行为的人人对话数据集
信息检索
2021-08-04 v1 人工智能
计算与语言
摘要
我们提出了一个新的人人对话数据集——PhotoChat，这是第一个揭示在线消息中照片分享行为的数据集。PhotoChat包含12k个对话，每个对话都配有一张在对话过程中分享的用户照片。基于该数据集，我们提出了两个任务以促进图像-文本建模研究：一个照片分享意图预测任务，预测用户是否会在下一轮对话中分享照片；以及一个照片检索任务，根据对话上下文检索最相关的照片。此外，对于这两个任务，我们使用最先进的模型提供了基线模型，并报告了它们的基准性能。最佳图像检索模型实现了10.4%的recall@1（在1000个候选中），最佳照片意图预测模型实现了58.1%的F1分数，表明该数据集呈现了有趣但具有挑战性的现实问题。我们正在发布PhotoChat以促进社区未来的研究工作。
引用
@article{arxiv.2108.01453,
title = {PhotoChat: A Human-Human Dialogue Dataset with Photo Sharing Behavior for Joint Image-Text Modeling},
author = {Xiaoxue Zang and Lijuan Liu and Maria Wang and Yang Song and Hao Zhang and Jindong Chen},
journal= {arXiv preprint arXiv:2108.01453},
year = {2021}
}