心辰创始人蓝振忠带队研发「 AI 科学家」 Nova,效果相比 SOTA 提升 2.5 倍
检索机制,通过获取相关文献来丰富生成的想法。这一过程利用了最新的研究成果,确保生成的想法与当前科学前沿保持一致。检索增强生成:使用了检索增强生成的方法,结合了检索到的信息与生成模型的内部知识,以提高生成内容的质量和相关性。自我反思机制:为了防止生成的想法出现幻觉,模型利用了自我检查、自我批评和反思等机制,确保生成的想法逻辑合理且符合实际。多源种子想法生成:Nova模型通过多种科学发现方法生成初始种子想法,确保生成的想法具有多样性和创新性。综合以上方法,当Nova拿到一篇文章后,就能自动化的去想如何提出好的idea来提升当前文章里提到的方法。比如,下面的idea是当团队把微软的Research Agent原始paper作为输入得到的优化方法,它能自动分析当前方法没有接入实时的数据流的缺陷,并提出方案去解决这个问题,具有较强的创新性。
多样性方面,研究团队通过计算idea之间的相似度来对生成的idea来进行去重。实验中,随着生成的想法数量的增加,Nova 模型可以通过迭代规划和搜索不断产生新的想法。在非重复百分比方面,Nova 的表现明显优于其他方法,超过80%的想法都是不重复的。最终,团队为了探索文章提出的方法对持续生成新的idea的影响,还进一步通过消融实验证明了该方法能持续生成新颖的非重复的idea。实验中,当不采用文章提出的规划搜索方法时,迭代三次中的独特想法数量(44.1)与迭代两次 (42.4) 相比不再增加。这表明,如果没有规划搜索,仅依靠基于种子想法的检索会限制获取有价值的外部知识以进行创新。当规划和检索都被删除时,由于没有引入外部知识,独特新颖想法的数量在迭代两次后略有增加(从25.3增加到 30.6),在迭代三次的时候相比迭代两次则停滞不前(从30.6增加到31.35)。除此之外,他们还找来了10位专家(包括对应领域的博士,博后以及资深教授),对生成idea在Overall(整体),Novelty(新颖性),Feasibility(可行性),Effectiveness(有效性)进行全面的评估。最终研究人员发现在人工评估中,Nova 在整体质量和新颖性方面均获得了最高分。Nova贡献了前4个想法的 37.5%,是四种方法中最高的。此外,Nova在最差的 4个想法中所占比例非常低,在整体质量方面仅占17.53%。在新颖性评估中也观察到了类似的模式。
本文作者可以追加内容哦 !