最近邻表示的信息容量
计算复杂性
2023-05-11 v1 离散数学
信息论
机器学习
神经与进化计算
math.IT
摘要
区分计算与存储。相比之下,大脑具有集成架构,其中计算与存储不可区分。受大脑架构启发,我们提出一种 模型:存储由 中的一组向量(我们称之为 )定义,计算通过输入向量收敛至最近邻锚点实现,输出为与锚点关联的标签。具体而言,本文研究布尔函数在关联计算模型中的表示,其中输入为二值向量,相应输出为最近邻锚点的标签( 或 )。该模型中布尔函数的信息容量关联两个量: 锚点数量(称为 )与 表示锚点元素的最大比特数(称为 )。我们研究对称布尔函数并给出具有最优 NN 复杂度与分辨率的构造。
引用
@article{arxiv.2305.05808,
title = {On the Information Capacity of Nearest Neighbor Representations},
author = {Kordag Mehmet Kilic and Jin Sima and Jehoshua Bruck},
journal= {arXiv preprint arXiv:2305.05808},
year = {2023}
}
备注
The conference version is submitted to and accepted by ISIT 2023