Face-Cap：基于面部表情分析的图像描述生成
计算机视觉与模式识别
2019-01-28 v2
摘要
图像描述生成是生成图像的自然语言描述的过程。然而，大多数当前的图像描述生成模型没有考虑图像的情感方面，而这与图像中所表示的活动和人际关系非常相关。为了开发能够生成融入这些内容的类人描述模型，我们使用从包含人脸的图像中提取的面部表情特征，旨在提升模型的描写能力。在本工作中，我们提出了 Face-Cap 模型的两种变体，它们以不同方式嵌入面部表情特征以生成图像描述。使用所有标准评价指标，我们的 Face-Cap 模型在应用于从标准 Flickr 30K 数据集中提取的、包含约 11K 张人脸的图像描述数据集时，优于最先进的基线模型。对描述的分析发现，或许令人惊讶的是，描述质量的提升似乎并非来自与图像情感方面相关的形容词的添加，而是来自描述中所涉动作的更大多样性。
引用
@article{arxiv.1807.02250,
title = {Face-Cap: Image Captioning using Facial Expression Analysis},
author = {Omid Mohamad Nezami and Mark Dras and Peter Anderson and Len Hamey},
journal= {arXiv preprint arXiv:1807.02250},
year = {2019}
}