文本颜色对词嵌入的影响
计算机视觉与模式识别
2020-04-22 v1 计算与语言
机器学习
摘要
在自然场景和文档中，我们可以发现文本与其颜色之间的相关性。例如，“热”这个词通常以红色印刷，而“冷”则常为蓝色。这种相关性可被视为一种表征词语间语义差异的特征。基于这一观察，我们提出了利用文本颜色进行词嵌入的想法。尽管纯文本词嵌入（如 word2vec）已取得极大成功，但由于反义词在句子中常可互换，它们常被表示为相似的向量。在本文中，我们尝试通过两项任务来验证文本颜色在理解词义，特别是识别同义词和反义词方面的有效性。首先，我们量化了书籍封面图像中词语的颜色分布，并分析了颜色与词义之间的相关性。其次，我们尝试以词语的颜色分布为约束来重新训练词嵌入。通过观察重新训练前后同义词和反义词的词嵌入变化，我们旨在理解在融入文本颜色信息时，哪些类型的词在其词嵌入中会受到正面或负面影响。
引用
@article{arxiv.2004.08526,
title = {Effect of Text Color on Word Embeddings},
author = {Masaya Ikoma and Brian Kenji Iwana and Seiichi Uchida},
journal= {arXiv preprint arXiv:2004.08526},
year = {2020}
}
备注
to appear at the 14th International Workshop on Document Analysis Systems (DAS) 2020