词嵌入中思想的流动
计算与语言
2023-08-01 v1 人工智能
摘要
思想的流动已被物理学家、心理学家和机器学习工程师广泛研究。本文采用微流变学（microrheology）的特定工具来研究基于相似度的思想流动。我们在词嵌入中引入随机游走者并研究其行为。这种通过嵌入空间的相似性介导随机游走在复杂结构系统（如生物细胞和复杂流体）中常见异常扩散的特征。本文最后提出应用布朗运动下随机游走与粒子扩散研究中流行的工具，来定量评估文档中多样思想的融入。总体而言，本文提出了一种结合微流变学与机器学习概念的自参照方法，以探索语言模型的蜿蜒倾向及其与创造力的潜在关联。
引用
@article{arxiv.2307.16819,
title = {The flow of ideas in word embeddings},
author = {Debayan Dasgupta},
journal= {arXiv preprint arXiv:2307.16819},
year = {2023}
}