AI 会生成新点子，不等于理解创新：IdeaGene-Bench 暴露 27.3% 的推理瓶颈

让大模型生成十个研究方向并不难。

真正困难的是追问：这些点子继承了谁的工作？修改了哪个机制？解决了什么缺陷？哪些部分从别的研究引入？证据在哪里？

如果 AI 只能给出一段听起来新颖的文字，却说不清思想的来路，它理解的可能不是创新，而是“创新应该怎样被描述”。

IdeaGene-Bench 正是为这个差距设计的。论文全名是《Ideas Have Genomes: Benchmarking Scientific Lineage Reasoning and Lineage-Grounded Idea Generation》，作者试图把科学想法之间的传承关系变成可表示、可比较、可评测的对象。

科学想法为什么像“基因”

一篇论文很少从零开始。它通常会保留已有研究的一些设定，同时改变另一些部分。

例如，一个新方法可能：

• 继承前作的任务和数据集；
• 替换核心模型结构；
• 删除一项不再需要的限制；
• 从另一个领域引入新的训练方法；
• 加入此前没有出现的评测指标。

如果只比较论文标题或摘要，很难准确识别这些变化。相似词语不一定代表继承，不同表述也可能描述同一个机制。

IdeaGene-Bench 因此提出 Idea Genome：把论文或研究提案拆成最小、带类型、能够由证据支撑的想法对象。它关心的不是一句话像不像，而是研究贡献在功能和关系上扮演什么角色。

GenomeDiff：把“哪里变了”单独记录下来

有了 Idea Genome，还需要比较前后两项研究。

GenomeDiff 会对齐两组 Idea Genome，记录一个想法在演化过程中发生了什么。论文列出的关系包括继承、变异、丢失、外部引入和新增，并进一步组织为六种可操作的演化动态。

这使“创新”从模糊形容词变成一组可以检查的问题：

• 哪些组件保持不变？
• 哪些组件被修改？
• 修改是否回应了前作的限制？
• 新组件来自谱系内部还是外部研究？
• 所谓的新贡献是否真的有证据支持？

对于论文调研，这能减少只看表面相似度的误判。对于产品和技术方案，它也能帮助团队区分“重新包装已有能力”和“真正改变关键机制”。

数据集到底有多大

根据论文摘要，IG-Bench 覆盖 10 个科学领域，包含：

• 1,961 条金标准科学谱系；
• 1,085 个经过整理的 Idea Genome 对象；
• 920 组两两对齐的 GenomeDiff 记录。

它提供两类评测。

第一类是 IG-Exam。它包含 42 种任务类型和 1,029 个实例，用来检查模型能否完成科学谱系推理，例如识别继承关系、比较研究变化和判断证据对应关系。

第二类是 IG-Arena。它关注基于既有谱系生成研究想法，并通过谱系条件下的比较评价生成结果。换句话说，系统不只要“想一个新点子”，还要在已有研究演化路径上提出有依据的下一步。

27.3% 到底意味着什么

论文评估了 14 个大模型科研系统。最强系统在 IG-Exam 上的精确准确率为 27.3%。

这个结果重要，因为精确匹配要求系统同时把多个关系说对。语言模型即使给出大致合理的说明，只要遗漏关键继承关系、混淆外部引入或找错证据，就无法得到完整分数。

但它有三个必须保留的边界。

第一，27.3% 不是所有模型在所有任务上的平均能力，而是论文所测系统中的最高精确准确率。

第二，它测的是科学谱系推理，不是对“创造力”这个宽泛概念的完整测量。一个模型可能生成有启发性的候选方案，却无法准确解释谱系；也可能擅长还原谱系，却提出不了真正重要的问题。

第三，精确准确率本身较严格。它适合揭示结构化推理的缺口，但不能直接等同于研究成果有 72.7% 是错的。

更准确的结论是：当前 AI 科研系统的表达能力，明显领先于它对创新来路的可核验理解。

为什么模型容易在这类任务上失手

语言相似不等于思想继承

两篇论文可能使用相似术语，却分别从不同研究路线发展而来；也可能用完全不同的词，实际保留了同一个核心机制。只靠文本相似度很容易误判。

创新关系是多对多的

新论文可能同时继承多篇前作，再从另一个领域引入组件。线性摘要倾向把复杂网络压成单一路径，遗漏重要来源。

证据分散在论文不同位置

研究动机、方法差异和实验验证常分布在摘要、相关工作、方法和消融实验中。模型需要跨段落对齐，而不是只复述摘要。

流畅表达会掩盖结构错误

模型很擅长写出“在前人基础上进一步提升”这样的句子，但如果没有指出具体继承对象、变更组件和对应证据，这种表述几乎不可审查。

团队如何把这套方法用起来

不必完整复现论文数据集，也可以借用它的结构审查 AI 生成的研究或产品方案。

第一步：把点子拆成最小主张

不要只保留一段宏大描述。至少拆成用户问题或研究问题、已有机制、拟议改动、预期收益和验证方法。

第二步：为每个主张标注来源

区分哪些来自已知工作，哪些是对旧机制的修改，哪些从外部领域引入，哪些确实是新提出的。无法标注来源的内容，应被视为待核验，而不是自动视为原创。

第三步：记录差异，不只记录相似

让 AI 明确回答“保留了什么、删除了什么、改变了什么、为什么改变”。这比让它写一句“本方案创新性强”更有价值。

第四步：把生成和评审分开

先让 AI 扩大候选空间，再用独立流程核对引用、谱系和实验可行性。不要让同一次生成既提出方案，又为自己的方案打分。

第五步：用实验决定价值

谱系清楚只能说明方案可解释，不代表方案一定有效。最终仍要靠对照实验、消融验证、真实用户反馈或业务指标判断。

今天的结论

IdeaGene-Bench 最有价值的地方，不是给 AI 创新能力判了一个简单分数，而是把一个常被忽略的问题摆到台面上：创新不仅要有结果，还要有来路。

当 AI 生成内容越来越流畅，团队更需要追问它继承了什么、改变了什么、证据是什么，以及怎样证明这个变化真的有效。

会写出新点子只是起点。能把点子放回科学谱系，接受来源核对和实验验证，才更接近可用的创新系统。

参考来源

• Ideas Have Genomes: Benchmarking Scientific Lineage Reasoning and Lineage-Grounded Idea Generation - arXiv