EigenNoise：用于热启动表示的对立先验
计算与语言
2022-05-10 v1 信息论
机器学习
math.IT
机器学习
摘要
本工作中，我们提出一种基于稠密独立共现模型的词向量朴素初始化方案，并给出初步结果表明其具有竞争力且值得进一步研究。具体而言，我们通过信息论最小描述长度（MDL）探测证明，我们的模型 EigenNoise 虽无任何预训练数据，却可接近经验训练的 GloVe 的性能。我们呈现这些初步结果，意在为探究此具竞争力初始化如何在无预训练数据下工作奠定基础，并邀请受调和语言结构理论启发的更智能初始化方案之探索。我们对该理论的应用同样对近期发现给出了新颖（且有效）的解释，这些发现阐明了语言表示从数据和对比分布中捕获的底层分布信息。
引用
@article{arxiv.2205.04376,
title = {EigenNoise: A Contrastive Prior to Warm-Start Representations},
author = {Hunter Scott Heidenreich and Jake Ryland Williams},
journal= {arXiv preprint arXiv:2205.04376},
year = {2022}
}
备注
8 pages, 2 tables