通过率失真理论的视角探索以行动为中心的表示
人工智能
2024-09-16 v1 神经元与认知
摘要
生物体必须跟踪环境中与适应性行为相关的信息。对于生活在高维环境中的资源有限智能体而言，以经济高效的方式传输信息变得至关重要。高效编码假说声称，生物体寻求以高效的方式最大化关于感觉输入的信息。在贝叶斯推断下，这意味着大脑的作用是高效分配资源，以便对引起感觉数据的隐藏状态进行预测。然而，这两个框架都没有解释这些信息在下游如何被利用，从而忽略了感知系统的行动导向作用。率失真理论定义了约束条件下的最优有损压缩，作为探索目标导向的高效编码的形式框架而受到关注。在这项工作中，我们在率失真理论的背景下探索以行动为中心的表示。我们还提供了抽象的数学定义，并认为，作为相关细节的概要，它们可以用来确定以行动为中心的表示的内容。我们使用变分自编码器 (VAE) 对以行动为中心的表示进行建模，并发现此类表示 i) 是数据的高效有损压缩；ii) 捕获了实现成功行为所必需的任务依赖性不变性；iii) 并不服务于重建数据。因此，我们得出结论，实现最优行为很少需要完整的数据重建，这与目的论的感知方法一致。
引用
@article{arxiv.2409.08892,
title = {Exploring Action-Centric Representations Through the Lens of Rate-Distortion Theory},
author = {Miguel de Llanza Varona and Christopher L. Buckley and Beren Millidge},
journal= {arXiv preprint arXiv:2409.08892},
year = {2024}
}