幂律分布的力量：非对称性实现构成推理
人工智能
2026-04-28 v1 计算与语言
机器学习
摘要
自然语言数据遵循幂律分布，大多数知识与技能出现在极低频率。虽然常见直觉认为将数据重新加权或精选为均匀分布有助于模型学习这些长尾技能，但我们发现反常结果：在广泛的构成推理任务中，如状态跟踪和多步算术，遵循幂律分布的训练始终优于均匀分布的训练。为理解这一优势，我们引入极简技能构成任务，证明遵循幂律分布的学习在训练数据需求上显著更低。我们的理论分析揭示，幂律抽样诱导有益的非对称性，可改善路径病态损失景观，使模型首先获取高频技能构成（数据复杂度低），进而作为学习稀有长尾技能的阶梯。我们的结果提供了关于有效训练数据分布的另一视角。
引用
@article{arxiv.2604.22951,
title = {The Power of Power Law: Asymmetry Enables Compositional Reasoning},
author = {Zixuan Wang and Xingyu Dang and Jason D. Lee and Kaifeng Lyu},
journal= {arXiv preprint arXiv:2604.22951},
year = {2026}
}