人类-LLM复合体通过面向 facets 的重组合与新颖性评估进行科学构思

科学构思过程常涉及将现有论文的片段进行组合以产生新想法。我们贡献了Scideator，这是首个面向facets 重组合和新颖性评估的人类-LLM系统。从用户提供的论文开始，Scideator提取这些和相关论文中的关键片段——目的、机制和评估——，允许用户交互式地重组片段以综合想法。Scideator的设计包含三个关键选择：（1）人类在循环内的片段重组合，用户从检索到的论文中选择片段，系统通过Faceted Idea Generator模块在这些之间寻找类比以生成想法；（2）通过Analogous Paper Facet Finder模块实现距离控制检索，该模块呈现从相同主题到完全不同领域的论文，以提供广泛的方向；（3）通过Faceted Novelty Checker模块实现片段基础的新颖性验证，该模块是一个检索-重排序管道，帮助用户使用片段评估想法的原创性。在针对计算机科学研究人员的用例研究中，Scideator在想法探索和表达性方面显著优于仅使用相同基础LLM而无我们片段模块的基线方法。进一步的消融实验表明，片段有助于新颖性检查器：基于片段的检索-重排序检索到更多相关论文，而基于片段的新颖性分类器在处理非结构化想法和论文时表现更好。