神经比例定律的不变性与普遍性

神经比例定律建立了模型性能与数据或计算量之间的可预测关系，为新领域和新任务的资源分配提供了关键指导。然而，这些定律恰恰在最需要它们的地方最难获得：为新模型任务对拟定比例定律需要昂贵的扫描，通常会耗尽该定律本 meant to 节省的计算预算。本文提出如何开发可移植的比例定律的问题：即在数据资源匮乏的新领域中，从在充足资源的源领域中拟合的比例定律可靠地迁移到新领域，而无需进行完整扫描，这需要对比例属性何时何地变化的根本性理解。我们通过识别正确的不变量来解决这一问题：在数据和修改其信息分辨率 $\rho$ 的双射 (信息保持) 变换下，比例定律保持不变；在非双射变换下，其修改方式是可预测的、基于信息论的。我们在语言、视觉和语音领域进行验证，并演示了两个跨域应用：从通用文本中拟合的比例定律用于预测在电子健康记录上训练的语言模型的比例，以及在不同噪声注入水平下的时间序列分类比例，恢复数据比例指数至3%误差以内。