词序的影响：来自重排序与生成分析的见解
计算与语言
2024-03-19 v1 人工智能
摘要
现有工作研究了自然文本中词语顺序的影响。它们通常通过破坏原始词序来创建一个打乱的序列，然后比较模型在原始序列和打乱序列上的性能来进行分析。实验结果表明性能下降微乎其微。考虑到这些发现，关于词序的不同假设被提出，包括“词序与词汇语义是冗余的”，以及“模型不依赖于词序”。在本文中，我们通过增加一个顺序重建的视角，并选择不同谱系的数据集，重新审视了上述假设。具体来说，我们首先选择了四个不同的数据集，然后设计了顺序重建和续写生成任务。实证发现支持 ChatGPT 依赖词序进行推理，但不能支持或否定词序与词汇语义之间的冗余关系。
引用
@article{arxiv.2403.11473,
title = {Word Order's Impacts: Insights from Reordering and Generation Analysis},
author = {Qinghua Zhao and Jiaang Li and Lei Li and Zenghui Zhou and Junfeng Liu},
journal= {arXiv preprint arXiv:2403.11473},
year = {2024}
}