对涌现语言词汇熵的数学建模
计算与语言
2023-03-27 v2
摘要
我们构建了一个随机过程 FiLex，作为基于深度学习的涌现语言系统中词汇熵的数学模型。以数学方式定义一个模型，使其能够产生清晰、可直接且决定性地进行检验的预测。我们在四个不同环境中通过实验验证，在 20 个环境-超参数组合中的 20 个中，FiLex 都预测了超参数（训练步数、词汇量大小、学习率、经验回放缓冲区大小和 Gumbel-Softmax 温度）与涌现语言熵之间的正确相关性。此外，我们的实验揭示，不同环境在其超参数与熵之间表现出多样化的关系，这证明需要一个能够在精确粒度级别上做出明确定义预测的模型。
引用
@article{arxiv.2211.15783,
title = {Mathematically Modeling the Lexicon Entropy of Emergent Language},
author = {Brendon Boldt and David Mortensen},
journal= {arXiv preprint arXiv:2211.15783},
year = {2023}
}
备注
12 pages, 3 figures; added link to GitHub repo