超越正向缩放：否定词如何影响语言模型的缩放趋势
计算与语言
2023-05-30 v1 人工智能
机器学习
摘要
语言模型已被证明表现出正向缩放（positive scaling），即随着模型在规模、算力或数据上的扩大，性能得以提升。本工作中，我们引入 NeQA，一个由含否定的问题组成的数据集，其中语言模型未表现出直接的正向缩放。我们展示该任务可呈现逆缩放（inverse scaling）、U 形缩放（U-shaped scaling）或正向缩放，且随着我们使用更强大的提示方法或模型系列，这三种缩放趋势按此顺序发生转移。我们假设解决 NeQA 依赖于两个子任务：问答（任务 1）与否定理解（任务 2）。我们发现任务 1 具有线性缩放，而任务 2 具有带涌现转折点的 S 形缩放，将这两种缩放趋势组合即得 NeQA 的最终缩放趋势。我们的工作揭示并提供了一种分析语言模型复杂缩放趋势的方法。
引用
@article{arxiv.2305.17311,
title = {Beyond Positive Scaling: How Negation Impacts Scaling Trends of Language Models},
author = {Yuhui Zhang and Michihiro Yasunaga and Zhengping Zhou and Jeff Z. HaoChen and James Zou and Percy Liang and Serena Yeung},
journal= {arXiv preprint arXiv:2305.17311},
year = {2023}
}
备注
Published at ACL 2023 Findings