Towards Real-World Stickers Use: A New Dataset for Multi-Tag Sticker Recognition
多媒体
2024-06-18 v3
摘要
在现实世界的对话中，表情贴纸的多样性和模糊性往往导致基于上下文的不同解读，这就需要全面理解贴纸并支持多标签标注。为应对这一挑战，我们推出了 StickerTAG，这是首个多标签表情贴纸数据集，包含一个由 461 个标签和 13,571 个贴纸 - 标签对组成的收集标签集，旨在提供对贴纸更深入的理解。由于贴纸标签通常具有细粒度的属性感知特性，识别贴纸的多个标签变得尤为困难。因此，我们提出了一种注意力属性导向的提示学习方法（Attentive Attribute-oriented Prompt Learning，简称 AttPL），以细粒度方式捕捉贴纸的信息特征，从而更好地区分标签。具体而言，我们首先应用一个属性导向的描述生成（ADG）模块，从四个属性获取贴纸的描述。然后，设计了一个局部重注意力（LoR）模块来感知局部信息的重要性。最后，我们利用提示学习引导识别过程，并采用置信度惩罚优化来惩罚过于自信的输分布。大量实验表明，我们的方法在所有常用指标上均取得了令人鼓舞的结果。
引用
@article{arxiv.2403.05428,
title = {Towards Real-World Stickers Use: A New Dataset for Multi-Tag Sticker Recognition},
author = {Bingbing Wang and Bin Liang and Chun-Mei Feng and Wangmeng Zuo and Zhixin Bai and Shijue Huang and Kam-Fai Wong and Xi Zeng and Ruifeng Xu},
journal= {arXiv preprint arXiv:2403.05428},
year = {2024}
}