EmoGist：用于视觉情感理解的高效零样本学习方法

本文介绍了EmoGist，这是一种用于执行视觉情感分类的训练自由的零样本学习方法。我们方法的核心直觉在于，情感标签的情境依赖性定义可允许更准确的情感预测，因为情感在图像中的表现方式高度依赖于情境且充满细微差别。EmoGist通过分析属于每个标签的示例图像簇来预生成多种情感标签描述。在测试时，我们根据测试图像与簇质心的余弦相似度检索相应的描述版本，并将其与测试图像一起输入快速的大语言视觉模型进行分类。通过我们的实验，我们展示了EmoGist在多标签Memotion数据集上可实现最高12分的微F1分数提升，在多标签FI数据集上可实现最高8分的宏F1分数提升。