位置编码在ARC基准测试中的作用
人工智能
2025-02-04 v1 机器学习
摘要
抽象与推理语料库（ARC）挑战人工智能系统在极少训练数据下进行抽象推理，这对人类而言直观，但对机器学习模型要求很高。我们以CodeT5+为案例研究，展示了位置编码的局限性如何阻碍推理并影响性能。本工作进一步考察了位置编码在Transformer架构中的作用，强调了其对不同规模和配置的模型的关键影响。通过比较几种策略，我们发现虽然2D位置编码和旋转位置嵌入（RoPE）提供了有竞争力的性能，但2D编码在数据受限的场景中表现更优，突显了其在ARC任务中的有效性。
引用
@article{arxiv.2502.00174,
title = {The role of positional encodings in the ARC benchmark},
author = {Guilherme H. Bandeira Costa and Miguel Freire and Arlindo L. Oliveira},
journal= {arXiv preprint arXiv:2502.00174},
year = {2025}
}