面向范围控制的语义信息G理论：目的性与效率之间的权衡
信息论
2024-11-12 v1 机器学习
math.IT
最优化与控制
摘要
深度学习的最新进展表明，我们需要同时最大化和最小化两种不同的信息。信息最大-最小（IMM）方法已被应用于深度学习、强化学习和最大熵控制。香农的信息率失真函数是最小化互信息（MMI）和数据压缩的理论基础，但不足以解决IMM问题。作者提出了语义信息G理论（即香农-卢理论），包括语义信息G测度和信息率保真函数R(G)（R是给定语义互信息G条件下的MMI）。R(G)函数的参数解提供了一种提高信息效率G/R的通用方法。本文简要介绍了语义信息G测度和R(G)函数的参数解。两个例子表明，参数解可以帮助我们在目的性（即语义互信息）与信息效率之间权衡，优化范围控制。R(G)函数似乎可以作为IMM方法的理论基础，但仍需结合深度学习、强化学习和约束控制进行进一步研究。
引用
@article{arxiv.2411.05789,
title = {Semantic Information G Theory for Range Control with Tradeoff between Purposiveness and Efficiency},
author = {Chenguang Lu},
journal= {arXiv preprint arXiv:2411.05789},
year = {2024}
}
备注
9 pages and 6 Figures