词类比测试中预测的信息量研究
计算与语言
2022-10-19 v1 信息论
机器学习
math.IT
摘要
本文提出一种方法,以信息比特(bits)量化类比测试中所用类比的实际相关性。该方法的主要组成部分是一个软准确率(softaccuracy)估计器,它还能给出经偏差补偿的熵估计。使用预训练的 GloVe 300 维向量和两个公开类比测试集获得的实验结果表明,从信息量的角度看,邻近提示(proximity hints)在类比测试中的相关性远高于类比本身。相应地,我们用一个简单的词嵌入模型预测类比携带约 1 比特信息,这一预测得到了实验证实。
引用
@article{arxiv.2210.09972,
title = {On the Information Content of Predictions in Word Analogy Tests},
author = {Jugurta Montalvão},
journal= {arXiv preprint arXiv:2210.09972},
year = {2022}
}