关注熵通信
信息论
2024-01-10 v2 机器学习
math.IT
数据分析、统计与概率
机器学习
摘要
注意力的概念，即强调特定数据重要性的数值权重，已被证明在人工智能中非常相关。相对熵 (RE，又称 Kullback-Leibler 散度) 在通信理论中起核心作用。在此我们结合这些概念：注意力和 RE。RE 在带宽受限通信中引导消息的最优编码，以及通过最大熵原理 (MEP) 引导最优消息解码。在编码场景中，RE 可从四个要求推导而出，即解析性、局部性、适当性和校准性。用于通信中注意力引导的加权 RE 被证明是不适当的。为看清适当的注意力通信如何涌现，我们分析了一个消息发送者希望确保消息接收者能采取充分知情行动的情景。若接收者使用 MEP 解码消息，发送者只需知道接收者的效用函数即可最优告知，而无需接收者的初始知识状态。若仅知效用函数极大值的曲率，准确传达一个注意力函数就变得可取，在此情况下为由该曲率加权并重新归一化的概率函数。本文提出熵注意力通信作为熵通信的所需推广，它允许加权且保持适当性，从而有助于技术应用中最优通信协议的设计并帮助理解人类通信。例如，我们的分析展示了如何推导在其他方面诚实的通信伙伴利益不一致下预期的合作水平。
引用
@article{arxiv.2307.11423,
title = {Attention to Entropic Communication},
author = {Torsten Enßlin and Carolin Weidinger and Philipp Frank},
journal= {arXiv preprint arXiv:2307.11423},
year = {2024}
}
备注
25 pages, 4 figures, re-submitted