中文

Heri-Graphs:基于社交媒体构建遗产价值与属性图多模态机器学习数据集的工作流

社会与信息网络 2022-09-02 v1 计算机与社会

摘要

价值(为何保护)与属性(保护什么)是文化遗产的核心概念。近期研究已利用社交媒体来映射公众传达给文化遗产的价值与属性。然而,将图像、文本、地理坐标、时间戳和社交网络结构等异质模态连接起来以挖掘其中的语义与结构特征的做法仍很少见。本研究提出一种方法学工作流,利用 Flickr 上的帖子和图像构建此类多模态数据集,用于涉及遗产价值与属性的基于图的机器学习(ML)任务。在使用最先进 ML 模型进行数据预处理后,视觉内容与文本语义的多模态信息被建模为节点特征和标签,而其社会关系与时空上下文被建模为多图中的连边。该工作流在包含联合国教科文组织世界遗产的阿姆斯特丹、苏州和威尼斯三座城市中进行测试,生成的 dataset 在半监督学习任务上具有高度一致性。整个过程以数学符号形式化描述,既可作为具有技术相关性的 ML 问题,也可作为具有社会意义的城市/遗产研究问题,随时用于临时任务。本研究亦有助于未来全球案例中遗产价值与属性的理解与映射,旨在实现包容性的遗产管理实践。

关键词

引用

@article{arxiv.2205.07545,
  title  = {Heri-Graphs: A Workflow of Creating Datasets for Multi-modal Machine Learning on Graphs of Heritage Values and Attributes with Social Media},
  author = {Nan Bai and Pirouz Nourian and Renqian Luo and Ana Pereira Roders},
  journal= {arXiv preprint arXiv:2205.07545},
  year   = {2022}
}

备注

28 pages, 6 figures, 12 tables. The data and models presented in this paper can be found in the following GitHub link: https://github.com/zzbn12345/Heri_Graphs