越简单越困难：LLM 在简化语料库上是否表现出一致的行为？
计算与语言
2024-04-11 v1
摘要
文本简化旨在提高可读性，同时保留原始内容和意义。我们的研究通过比较预训练分类器在原始输入和简化输入上的预测，调查它们是否也保持这种一致性。我们使用包括 BERT 和 OpenAI 的 GPT 3.5 在内的 11 个预训练模型，在跨越三种语言的六个数据集上进行了实验。此外，我们详细分析了预测变化率与简化类型/强度之间的相关性。我们的发现揭示了所有语言和模型中存在令人担忧的不一致性。如果不及时解决，简化输入很容易被利用来构造成功率高达 50% 的零迭代模型无关对抗攻击。
引用
@article{arxiv.2404.06838,
title = {Simpler becomes Harder: Do LLMs Exhibit a Coherent Behavior on Simplified Corpora?},
author = {Miriam Anschütz and Edoardo Mosca and Georg Groh},
journal= {arXiv preprint arXiv:2404.06838},
year = {2024}
}
备注
Published at DeTermIt! Workshop at LREC-COLING 2024