关注指令数据挖掘中提示词的鲁棒性
人工智能
2025-04-01 v1
摘要
指令调谐已成为针对大语言模型（LLM）行为进行定制化的首要方法。最近的研究揭示了通过使用有限数量的高质量指令数据进行微调即可实现高性能的潜力。基于这一方法，我们进一步探讨了提示词鲁棒性对高质量指令数据选择的影响。本文提出了一个首创的高质量在线指令数据挖掘框架，聚焦于提示词鲁棒性对数据挖掘过程的影响。我们突出性的创新在于通过对在线指令数据的提示词进行攻击，生成对抗指令数据。然后，我们引入了对抗指令遵循难度指标，用于衡量对抗指令数据对生成相应响应的帮助程度。除此之外，我们提出了一种新的对抗指令输出嵌入一致性方法，用于选择高质量的在线指令数据。我们在两个基准数据集上进行了大量实验，以评估性能。实验结果凸显了我们提出的两种方法的有效性。此外，结果也凸显了考虑提示词鲁棒性的关键实际意义。
引用
@article{arxiv.2503.24028,
title = {Pay More Attention to the Robustness of Prompt for Instruction Data Mining},
author = {Qiang Wang and Dawei Feng and Xu Zhang and Ao Shen and Yang Xu and Bo Ding and Huaimin Wang},
journal= {arXiv preprint arXiv:2503.24028},
year = {2025}
}