面向大规模人脸图像档案的计算观察：构建半符号AI以桥接计算机视觉与视觉符号学

社交网络正在构建一个数字世界，人类面部和身体影像的认知、情感和实用价值正在发生变化。然而，数字人文学领域的研究者通常缺乏对这些现象进行大规模研究的能力。本工作提出了FRESCO（Face Representation in E-Societies through Computational Observation），一个旨在探索社交媒体平台影像在规模上的社会文化意义的框架。FRESCO通过采用最先进的计算机视觉技术将影像解构为数值和分类变量，与视觉符号学的原则相吻合。该框架在三个层面上分析影像：塑料层面，涵盖诸如线条和颜色等基本视觉特征；图式层面，代表特定实体或概念；表述层面，特别关注构建观察者和观众的视角。对这些层面的分析用于洞察影像中的更深层叙事。实验验证确认了FRESCO的可靠性和实用性，我们评估了其在两个公共数据集上的一致性和精度。随后，我们引入FRESCO得分，这一指标源自框架的输出，作为影像内容相似性的可靠衡量标准。