新模态：表情符号在预测、预期与检索中的挑战
计算与语言
2018-02-05 v2 信息检索
多媒体
摘要
在过去十年中，表情符号已成为一种新兴且广泛传播的数字通信形式，跨越 diverse 社交网络与口语语言。我们提议将这些表意文字本身视为一种新模态，其语义结构既不同于常嵌入其中的文本，也不同于其相似的图像。作为一种新模态，表情符号为表示与交互提供了丰富的新可能。在本文中，我们通过多媒体研究的视角探讨将表情符号作为模态自然产生的挑战。具体而言，表情符号与文本和图像等其他常见模态的关联方式。为此，我们首先呈现一个从 Twitter 收集的大规模真实世界表情符号使用数据集。该数据集包含文本-表情符号与图像-表情符号关系的实例。我们使用最先进的神经网络，在从文本和图像预测表情符号的挑战上给出基线结果。进一步，我们首次考量如何解释新的、未见的表情符号这一问题——随着表情符号词汇量逐年扩展，这是一个相关问题。最后，我们给出使用表情符号作为查询的多媒体检索结果。
引用
@article{arxiv.1801.10253,
title = {The New Modality: Emoji Challenges in Prediction, Anticipation, and Retrieval},
author = {Spencer Cappallo and Stacey Svetlichnaya and Pierre Garrigues and Thomas Mensink and Cees G. M. Snoek},
journal= {arXiv preprint arXiv:1801.10253},
year = {2018}
}