关于 ChatGPT 在情感计算中提示敏感性的研究

最近的研究表明，像 ChatGPT 这样的基础模型在包括情感计算在内的多个领域展现出了涌现能力。然而，对这些涌现能力的访问是通过提示工程促进的。尽管存在一些提示技术，但该领域仍在快速发展，许多提示想法仍需研究。在这项工作中，我们引入了一种方法，用于评估和调查基础模型基于不同提示或生成参数的性能敏感性。我们在情感计算范围内对 ChatGPT 在三个主要问题上进行了评估，即情感分析、毒性检测和讽刺检测。首先，我们对自回归文本生成中的关键参数进行了敏感性分析，具体是 Nucleus 采样中的温度参数 $T$ 和 top-$p$ 参数，它们决定了模型在生成过程中应保持保守还是发挥创造力。此外，我们探讨了几种提示想法的有效性，其中我们探讨了给予不同激励或结构如何影响性能。我们的评估考虑了情感计算任务上的性能指标，以及模型遵循既定指令的有效性，从而生成易于解析的响应，以便在下游应用中顺畅使用。