速率受限系统中比特分配策略对机器学习性能的影响
信息论
2022-05-19 v2 math.IT
摘要
自动驾驶车辆等智能实体由其机器学习单元(MLU)处理数据，正发展成为网络中交织的一部分。这些单元可处理失真输入，但其对噪声观测的敏感性因输入属性而异。由于海量数据的盲目传输会加重系统负担，识别并向MLU传递相关信息可提升系统性能与资源利用效率。本文研究在带宽约束下为提供MLU输入的多个相关信源进行标量量化时的整数比特分配问题。不同于原始与量化输入属性间传统的距离度量，定义了一种新的基于Kullback-Leibler散度的失真度量，以考量MLU决策的准确性。所提准则适用于许多无数据统计先验知识且独立于所选MLU实例的实际情形。本文以带神经网络控制器的倒立摆小车为例并假设标量量化。仿真结果显示了显著的性能增益，尤其在可用带宽较小的区域。此外，成功速率分配的模式表明某些特征对MLU具有更高相关性，需以更高精度量化。
引用
@article{arxiv.2102.05389,
title = {Impact of Bit Allocation Strategies on Machine Learning Performance in Rate Limited Systems},
author = {Afsaneh Gharouni and Peter Rost and Andreas Maeder and Hans Schotten},
journal= {arXiv preprint arXiv:2102.05389},
year = {2022}
}
备注
In 2022 version, only kNN is replaced with NN (which is the correct model) in caption of Fig.3