机器人用于天文台提案的科学文本分析
天体物理仪器与方法
2024-07-04 v1 物理与社会
摘要
为检验人工智能（AI）变压器（如ChatGPT）及其关联的大型语言模型对时间分配过程（包括提案审查和评分）的潜在颠覆性影响，在ESO设立了一个用于P112提案征求计划的实验。该实验旨在提高ESO社区的 awareness，并通过识别ESO及其他天文台为跟上当前技术可能需要采取的未来步骤来构建有价值的知识。本文介绍了实验结果，这些结果可能进一步用于为关于在提案审查过程中使用AI的决策者提供信息。我们发现，经ChatGPT调整后的提案的得分低于原始提案。此外，ChatGPT 3.5在提供正确的科学参考方面 generally 无法被信任，而最新版本做得更好，但仍远远不完美。我们还研究了ChatGPT如何处理提案评估问题。它似乎在为ESO提案提供概述方面做出了显著的工作，尽管它并不擅长识别弱点。当我们研究其如何评估提案时，发现ChatGPT系统性地给予比人类更高的评分，并且倾向于偏好自己撰写的提案。
引用
@article{arxiv.2407.02992,
title = {Scientific Text Analysis with Robots applied to observatory proposals},
author = {T. Jerabkova and H. M. J. Boffin and F. Patat and D. Dorigo and F. Sogni and F. Primas},
journal= {arXiv preprint arXiv:2407.02992},
year = {2024}
}
备注
Proceedings for the SPIE Astronomical Telescopes and Instrumentation 2024