发现、主观美感、选择性注意、好奇心与创造力的简单算法原理

我假设人类或其他智能体以如下方式运作或应当如此运作。它们原样存储所有感官观察——数据是神圣的。在任何时候，给定智能体当前的编码能力，部分数据可被一个简短且希望是快速的程序/描述/解释/世界模型所压缩。在智能体的主观视角中，这类数据比其他数据更规则、更“美”。众所周知，对规律性和可重复性的了解可以提升智能体规划行动以获取外部奖励的能力。然而，在缺乏此类奖励时，已知的美是乏味的。此时，“有趣性”成为主观美的第一阶导数：随着学习智能体改进其压缩算法，先前看似随机的数据部分在主观上变得更规则、更美。好奇心驱动对这种可压缩性的进展进行度量和最大化：创造能扩展观察历史并产生先前未知/不可预测但可快速学习的算法规律性的动作序列。我们讨论了如何通过将被动无监督学习扩展到主动数据选择的情况，在计算机上自然实现上述所有内容：我们奖励一个通用强化学习器（可访问自适应压缩器），因其采取能提高增长数据的主观可压缩性的动作。可压缩性方面异常巨大的突破应被称为“发现”。艺术家、舞者、音乐家、纯数学家的“创造力”可被视为这一原理的副产品。几个定性例子支持了这一假设。