超越 meme 模板：视觉相似性度量在 meme 匹配中的局限性

随着互联网 meme 成为数字交流的常态，它们在线社区中的用户互动方式发挥着关键作用，并为研究当代数字文化提供了洞察。这些充满活力的用户生成内容以其重复使用视觉元素的方式著称，这些元素也存在于其他 meme 中。通过这些共享的视觉元素匹配 meme 实例，称为 meme 匹配，是众多 meme 分析方法的基础。然而，大多数现有方法假设每个 meme 都包含一个称为模板的共享视觉背景，以及一些叠加的文本，从而将 meme 匹配限制为仅比较背景图像。当前方法排除了许多非模板型 meme，限制了自动化 meme 分析的有效性，无法有效将 meme 与当代基于 web 的 meme 词典关联。在本工作中，我们提出了超越模板匹配的更广泛的 meme 匹配表述。我们展示，包括新颖的分段相似性度量计算在内的常规相似性度量，在匹配基于模板的 meme 时表现良好，但在应用于非模板格式的 meme 时不足。然而，分段方法在匹配非模板型 meme 时 consistently 优于整体图像度量。最后，我们探索了使用预训练多模态大语言模型进行 meme 匹配的提示方法。我们的结果表明，通过共享视觉元素（而不仅仅是背景模板）准确匹配 meme 仍是一个开放性挑战，需要更加精细的匹配技术。