有限抽象的信息论及其根本可扩展性限制
计算与语言
2025-12-04 v1
摘要
有限抽象是动态系统的离散近似，其抽象轨迹集合包含所有系统轨迹。普遍认为，抽象会受到维度诅咒：对于相同的“准确性”（即抽象对系统的表示多近），抽象规模随系统维度而呈现规律性差异。尽管数十年来人们致力于研究抽象，但迄今为止尚无关于其准确性-规模权衡的形式化结果。在本文中，我们通过率失真理论——有损压缩的信息论——推导了抽象准确性-规模权衡的统计、定量理论，揭示了其可扩展性的根本限制。将抽象视为编码-解码对，编码动态系统的轨迹。其中，率衡量抽象规模，失真描述准确性，定义为抽象轨迹与系统轨迹之间的空间平均偏差。我们获得给定系统动力学和抽象规模时，可实现的最低抽象失真的下界；反之，给定失真时，所需最小规模的下界。该界限取决于动力学的复杂性，通过轨迹熵。我们在一些动态系统上展示了其紧密性。最后，我们展示了如何利用这一新理论构建最小化抽象，优化规模-准确性权衡，通过对一个混沌系统的示例说明。
引用
@article{arxiv.2512.03976,
title = {Adapting Large Language Models to Low-Resource Tibetan: A Two-Stage Continual and Supervised Fine-Tuning Study},
author = {Lifeng Chen and Ryan Lai and Tianming Liu},
journal= {arXiv preprint arXiv:2512.03976},
year = {2025}
}