PromptShots 在 FinNLP-2022 ERAI 任务中的提交：成对比较与无监督排序

本报告描述了我们的 PromptShots 针对评估业余投资者理由（ERAI）共享任务的提交方案。我们参与了成对比较和无监督排序两项任务。对于成对比较，我们采用了基于 T5-small 和 OpenAI InstructGPT 语言模型的指令式模型。令人惊讶的是，我们观察到在中文数据上少样本训练的 OpenAI InstructGPT 语言模型在我们的提交中表现最佳，在最大损失（ML）成对准确率上排名第 3。该模型的表现大幅优于在 Google 翻译的英文数据上训练的结果，其中英文少样本训练的 InstructGPT 模型甚至表现不如在英文数据上微调的基于指令的 T5-small 模型。然而，所有基于指令的提交在最大潜在收益（MPP）成对准确率上表现均不佳，而该任务拥有更多数据和学信号。中文少样本训练的 InstructGPT 模型在我们的设定中仍表现最佳。对于无监督排序，我们使用了许多语言模型（包括许多金融专用模型），以及使用矩估计量在中英文词上无监督学习的贝叶斯词典。我们的所有提交在 MPP 排序中均排名最佳，从第 1 名到第 3 名。然而，它们在 ML 评分上均表现不佳。因此，MPP 和 ML 分数需要不同的处理方式，因为我们曾用同一公式处理 MPP 和 ML。我们唯一的区别在于对市场情绪词典的处理。