基于形式概念分析的自然语言内在维度评估
计算与语言
2023-11-21 v1 人工智能
代数拓扑
摘要
本文展示了针对孟加拉语和俄语确定语言变体内在维度的计算实验的部分结果。同时，这两种语言中的词集合与二元语法（bigram）集合被分别考虑。用于解决该问题的方法基于形式概念分析算法。研究发现，这些语言的内在维度显著小于自然语言处理中流行神经网络模型所使用的维度。
引用
@article{arxiv.2311.10862,
title = {Formal concept analysis for evaluating intrinsic dimension of a natural language},
author = {Sergei O. Kuznetsov and Vasilii A. Gromov and Nikita S. Borodin and Andrei M. Divavin},
journal= {arXiv preprint arXiv:2311.10862},
year = {2023}
}
备注
Preprint, 10th International Conference on Pattern Recognition and Machine Intelligence (PReMI 2023)