为黑箱着色：联觉对字符嵌入的启示
计算与语言
2021-01-27 v1
摘要
与词级或句级嵌入不同，字符嵌入仍鲜为人知。我们旨在通过一项对英文字符嵌入的深入研究来弥补这一差距。为此，我们利用关于字形-颜色联觉（一种字母与颜色相关联的神经心理现象）的研究资源——这些资源使我们得以洞察哪些字符对联觉者而言相似，以及字符在颜色空间中如何组织。比较10种不同的字符嵌入，我们提出：字符嵌入与联觉者对字符的感知有多相似？从不同模型提取的字符嵌入彼此间又有多相似？我们发现LSTM比transformer更与人类一致。跨任务比较表明，字素到音素转换产生了最类人的字符嵌入。最后，ELMo嵌入既不同于人类也不同于其他模型。
引用
@article{arxiv.2101.10565,
title = {Coloring the Black Box: What Synesthesia Tells Us about Character Embeddings},
author = {Katharina Kann and Mauro M. Monsalve-Mercado},
journal= {arXiv preprint arXiv:2101.10565},
year = {2021}
}
备注
EACL 2021