面向 LLM 对提示格式样式变化的鲁棒性

大型语言模型 (LLM) 近年来因其在 various 应用中的实用性而获得了广泛关注。然而，它们对提示格式中的非语义变化敏感，小小的提示格式变化即可导致显著的性能波动。在文献中，这一问题常被称为提示脆弱性。以往的提示工程研究主要集中于 developing techniques for identifying specific tasks 的最佳提示。一些研究也探索了提示脆弱性问题，并提出了量化性能变化的方法；然而，尚未找到简单有效的解决方案来应对这一挑战。我们提出了 Mixture of Formats (MOF)，这是一种简单且高效的技术，用于解决 LLM 中的提示脆弱性，通过多样化提示中 few-shot 示例所使用的样式。MOF 灵感来自计算机视觉技术，后者利用多样化的样式数据集以防止模型将特定样式与目标变量关联。实证结果表明，我们提出的技术在 various LLM 中减少了由样式引起的提示脆弱性，同时也提升了在 various 提示变化和不同数据集上的整体性能。