提示词存在邪恶孪生
计算与语言
2024-10-08 v3
摘要
我们发现，许多自然语言提示词可被相应的、人类无法理解但可证明在语言模型中引发相似行为的提示词所替换。我们称这些提示词为“邪恶孪生”（evil twins），因为它们经过混淆且不可解释（邪恶），同时又模仿原自然语言提示词的功能（孪生）。值得注意的是，邪恶孪生可在模型间迁移。我们通过求解一个最大似然问题来发现这些提示词，该问题具有独立意义的应用。
引用
@article{arxiv.2311.07064,
title = {Prompts have evil twins},
author = {Rimon Melamed and Lucas H. McCabe and Tanay Wakhare and Yejin Kim and H. Howie Huang and Enric Boix-Adsera},
journal= {arXiv preprint arXiv:2311.07064},
year = {2024}
}
备注
EMNLP 2024 Main, camera-ready