GSE：通过通用贴纸编码器评估贴纸视觉语义相似性
计算机视觉与模式识别
2025-11-10 v1 多媒体
摘要
贴纸已成为一种流行的视觉交流形式，但由于其高度多样和象征性内容，理解其语义关系仍具有挑战性。本工作正式定义了贴纸语义相似性任务，引入 Triple-S，即首个该任务基准，包含 905 组人工标注的正负贴纸配对。通过广泛评估，我们表明现有预训练视觉和多模态模型难以捕捉细腻的贴纸语义。为此，我们提出通用贴纸编码器（GSE），一种轻量且通用的模型，通过 Triple-S 和额外数据集学习鲁棒的贴纸嵌入。GSE 在未见贴纸上实现卓越性能，在下游任务（如情感分类和贴纸检索）上也表现出色。通过发布 Triple-S 和 GSE，我们提供标准化评估工具和稳健的嵌入，支持贴纸理解、检索和多模态内容生成的后续研究。Triple-S 基准和 GSE 已公开发布。
引用
@article{arxiv.2511.04977,
title = {GSE: Evaluating Sticker Visual Semantic Similarity via a General Sticker Encoder},
author = {Heng Er Metilda Chee and Jiayin Wang and Zhiqiang Guo and Weizhi Ma and Min Zhang},
journal= {arXiv preprint arXiv:2511.04977},
year = {2025}
}