利用文本与图像的兴趣点类型预测
计算与语言
2021-09-03 v1
摘要
兴趣点（POI）类型预测是从社交媒体帖子发布地点推断场所类型的任务。推断 POI 类型对包括社会语言学、地理符号学和文化的地理学在内的计算社会科学相关研究颇有价值，并在地理社交网络技术（如推荐与可视化系统）中有应用。先前的 POI 类型预测工作仅关注文本，未考虑视觉信息。然而在现实中，多模态的多样性及其彼此间的符号学关系，塑造了社交媒体中的交流与互动。本文提出一项利用发布时可用文本与图像多模态信息进行 POI 类型预测的研究。为此，我们用伴随文本消息的图像丰富了当前可用的 POI 类型预测数据集。我们提出的方法从每种模态中提取相关信息，有效捕捉文本与图像间的交互，在八个类别上取得 47.21 的宏 F1，显著优于基于仅文本方法的 POI 类型预测最优方法。最后，我们提供详细分析以阐明跨模态交互及我们最优模型的局限性。
引用
@article{arxiv.2109.00602,
title = {Point-of-Interest Type Prediction using Text and Images},
author = {Danae Sánchez Villegas and Nikolaos Aletras},
journal= {arXiv preprint arXiv:2109.00602},
year = {2021}
}
备注
Accepted at EMNLP 2021