基于层束理论量子类语境性与 BERT 的回指歧义模型
计算与语言
2022-08-12 v1 人工智能
机器学习
神经与进化计算
摘要
自然语言的歧义并不妨碍我们使用它，而语境有助于传达思想。然而，它们对开发能够像人类一样理解并使用自然语言的胜任机器构成了关键挑战。语境性是量子力学中一种无与伦比的现象，人们已提出不同的数学形式体系来理解和推理它。在本文中，我们构建了一个展现量子类语境性的回指歧义图式。我们使用一种近期发展的、适用于信号模型的层束理论语境性判据。随后，我们利用神经词嵌入引擎 BERT 将该图式实例化到自然语言示例中，并提取实例的概率分布。结果，在 BERT 所用的自然语言语料库中发现了大量层束语境性示例。我们希望这些示例能为未来研究以及寻找将量子计算应用于自然语言处理的方法铺平道路。
引用
@article{arxiv.2208.05720,
title = {A Model of Anaphoric Ambiguities using Sheaf Theoretic Quantum-like Contextuality and BERT},
author = {Kin Ian Lo and Mehrnoosh Sadrzadeh and Shane Mansfield},
journal= {arXiv preprint arXiv:2208.05720},
year = {2022}
}
备注
In Proceedings E2ECOMPVEC, arXiv:2208.05313