实验数据怎么设计,决定模型能学到什么
更大的数据集不一定带来更好的化学理解。Leash 的几步,作者风格、BELKA、口袋突变,都在做同一件事:造出让捷径失效的对照。读一个科学模型的成绩,先要问它的测试有没有被这样攻击过,而不是只看准确率。这是我们的读法。


AI FOR SCIENCE · 访谈
Quigley 说,药物化学的数据上,模型看起来会预测,却可能只是学会了“谁做的分子”和蛋白的“外号”。Leash 用大规模 DNA 编码库(DEL)筛选、口袋突变和对照去堵这些捷径,再把测好的结果做成让语言模型智能体反复练习构效关系(SAR)的环境。
访谈把 Leash 的方法串成一条线:Clever Hans(1,815 位化学家,只看分子就能猜出作者)、BELKA 竞赛(在全新化学库上没人优于随机)、Hermes、口袋突变,再到智能体练习场,后者同日以 Minos 公开。规模上,他说 10 个人做了约 2,000 个蛋白构建体、约 5,000 次筛选,每次至少 650 万个分子。
性能结论几乎都是 Leash 自己的评测,还没有外部小组在新的真实实验里复核;Minos 只覆盖已经筛过的分子和结合这一项,不含药代和毒性。没有披露开发候选分子、对应靶点或合作方,炎症项目只到小鼠,DEL 读数也还换算不成亲和力(Kd)。
Quigley 和联合创始人 Andrew Blevins 在 Recursion 时,看着屏幕上的分子,一位药化学家路过说“像是 Stuart Schreiber 的分子”。如果模型也能认出作者,也许它推断的是化学家的意图,而不是物理。他们从 ChEMBL 取出发表过至少 30 篇论文、600 个分子的化学家,共 1,815 位,训练分类器只看分子预测作者,top-5 准确率约 60%。他说作者的风格会被学生继承,做得顺手的反应会被反复使用,这些签名都会被模型捡走。
“If the models can identify the chemist by looking at the molecule alone, then maybe the models can infer chemist intent.”Ian QuigleyLeash 两年前把约 40 亿个测量放进 Kaggle 竞赛(BELKA)。评测分三档:共用构件的、共用核心但构件不同的、以及一个完全不同的化学库,参赛者事先不知道。约 2,000 支队伍参赛,在最难那一档上没有人优于随机;他说前五名里有三个是带噪声的教程笔记本。他说当时给了 5% 的可能,共折叠模型会让公司整个多余;之后他们把全部数据公开,请认为自己行的人来证明。
Hermes 刻意做得简单:蛋白用 ESM 嵌入,分子用 ChemBERTa 嵌入,交叉注意力,输出结合与否。他说随着切分越来越远,XGBoost 一步步下滑,Hermes 基本稳定。Hermes 预印本给出评测规模:四组共约 1,380 万个样例,分别覆盖 164、59、403 和 26 个靶点;在这些上 Hermes 与当时最好的结构模型 Boltz 表现相近,各有擅长的蛋白家族,文章自己说并不声称 Hermes 更好。他举了 BRD4:同一个分子也在 PDB 里,Boltz 判得完美、Hermes 判得很差,他怀疑 Boltz 训练时见过这个复合物。
DEL 的毛病之一是蛋白可能结合 DNA。Leash 让同一个分子挂 32 或 48 个不同条形码;如果同一分子的不同条形码富集差别很大,就提示蛋白在结合 DNA 而不是小分子。口袋这边,他说当前的共折叠模型在口袋被数字化破坏后仍会把分子塞回原处,公开的结构数据又缺少这类负样本。Leash 的做法是在实验里真的突变:先用已知配体做竞争筛选,再把口袋里的氨基酸换掉重筛,看同一批分子是否被赶走。Hermes 起初盯着蛋白上不保守的短片段,像是记了个“外号”;加入突变体训练后,注意力“更均匀”,但他没有给出注意力以外的证据。
Leash 把开源语言模型教成能用英文描述分子和分子之间的差异,给它 10 个结合分子和 10 个不结合的,预算 100 个分子,让它从约 650 万个里挑着“做实验”,结果从已测数据里即时返回,像编程沙盒。他说数据里有人类不会去做的选择,所以智能体能犯错并得到反馈;某个周末就抽出一万多个 SAR 战役,而药化学家一生只经历几十个。同日发布的 Minos 博客把它定了名:旗舰任务是不给起点、100 个预算、33 个靶点,约 10 万条轨迹,并公开了部分环境和数千条推理轨迹。博客还列出智能体的失败方式:在低潜力区域停留过久、重复测试同一分子、用不完预算,面对反证时不更新假设。
“It's got to have the counterfactuals. It's got to make mistakes.”Ian Quigley他说从 DNA 上拿下来合成后,易靶点的命中约九成有效,难靶点约一半;DEL 多是扁的、依赖构件库,有些化学空间会做不好;读数还换算不成 Kd。筛选顺带留下约 700 个靶点上看起来有选择性的起始分子,他举的方向是现在只能用抗体打的细胞因子靶点,换成口服小分子。一个炎症项目从库命中到小鼠 PK/PD 用了六个月,公司在谈把这类项目对外合作、成立新公司。
来源:Blevins 和 Quigley 的预印本(arXiv 2512.20924),读了摘要、方法和两张结果表;数字是论文自己的,只在一个整理过的 ChEMBL 子集上测得,五次随机骨架切分的平均。
评论栏 2026-10-14 收录了这期节目里 Quigley 关于 ChEMBL 的论点:公开数据让模型学会“是谁做的分子”。
访谈给出整条检验的阶梯:先量化作者捷径(1,815 位化学家、top-5 约 60%),再用 BELKA 的全新化学库和 Hermes 的外部测试检验泛化,再用物理的口袋突变去破坏蛋白一侧的捷径。
时间线记录了 OpenBind-0(2026-08-21):完全开放的共折叠模型在标准基准上与 AlphaFold3 相当,但在柔性靶点上 top-25 成功率掉到个位数。
Quigley 从实验一侧给出另一种检验:把口袋在实验里真的突变掉,看分子是否被赶走。他说当前共折叠模型在口袋被破坏后仍把分子放回原处,但没有点名是哪些模型或论文。
本站访谈里,Lila 的 CTO 把真实实验当强化学习的验证器(Latent Space,2026-07-16),Periodic 的联合创始人说判断是否超导的测量一次约一小时(Latent Space,2026-10-08);两家的反馈都要等实验跑完。
Quigley 提出第三种做法:先把整片实验空间测完,智能体在里面即时拿到反馈,还能看到它没选的那些分子的结果;代价是只能在已经筛过的分子里选,只看结合。
更大的数据集不一定带来更好的化学理解。Leash 的几步,作者风格、BELKA、口袋突变,都在做同一件事:造出让捷径失效的对照。读一个科学模型的成绩,先要问它的测试有没有被这样攻击过,而不是只看准确率。这是我们的读法。
公开结构和结合数据对负样本、失败实验和没人尝试过的选择覆盖得不够。Minos 因为预先测了整片空间,不但能看智能体选了什么,还能看没选的那些会得到什么,于是可以评价它的决策:在差的区域停留多久,反证后是否改口,预算有没有用完。对做闭环科学的人,这指向一个评测问题:我们评的是最终答案,还是智能体怎样用证据和预算做下一步选择。这是我们的读法。
Lila 和 Periodic 让智能体指挥真实实验,每一步要几天到几个月;Minos 把实验提前做完,每一步是一次查表。它不是在模拟化学规律,而是回放一个已经测过、有限的空间,所以只能在筛过的分子里选,只看结合,不看药代和毒性。公开了环境和轨迹不等于被独立验证。
约 10 人,融资不多;累计约 2,000 个蛋白构建体、约 5,000 次筛选,每次至少 650 万个分子;大周能筛 100 个构建体。
公司自述
他的口述,没有公开文件;他估算外包给 CRO 每次约 10 万美元。
ChEMBL 里 1,815 位化学家,只看分子预测作者,top-5 准确率约 60%。
公司自述
与 Leash 2026 年 2 月文章里的“1815 位化学家”一致;论文本页没有读,“作者签名”这一解释是他的推测(“我们认为很可能”)。
BELKA:约 40 亿个测量,约 2,000 支队伍,在完全不同的化学库上没有人优于随机。
公司自述
竞赛和数据是公开的,本页没有重读结果页;数字是他口述的。
在 Leash 构建的评测上(四组共约 1,380 万个样例,覆盖 164、59、403 和 26 个靶点),只用自家数据训练的 Hermes 与 Boltz 相近,各有擅长的蛋白家族。
公司自述
规模取自 Leash 的博客;他口述约 1,300 万并说记不准。比较由 Leash 自己做,文章也说并不声称 Hermes 更好;论文本页没有读。
同一个 BRD4 分子,Boltz 判得完美、Hermes 判得很差,因为这个复合物在 PDB 里。
受访者判断
Quigley 怀疑 Boltz 训练时见过它(“我们怀疑”);没有做过训练数据重叠的核验。
同一个分子挂 32 或 48 个不同条形码;不同条形码的富集差别大,提示蛋白在结合 DNA。
公司自述
方法描述;他说还可以从富集的序列里回收转录因子已知的 DNA 结合基序,作为蛋白做对了的旁证。
加入口袋突变体训练后,Hermes 的注意力不再集中在蛋白上不保守的短片段,而是“更均匀”。
公司自述
来自展示的注意力图,没有给数字;注意力变均匀不等于模型理解了结合机制。
当前共折叠模型在口袋被数字化破坏后仍把分子塞回原处。
行业背景
他转述别人的工作(“几个小组都显示过”),没有点名。
给 10 个结合分子、100 个分子的预算,智能体能从约 650 万个里找到最好的结合分子。
公司自述
访谈录于预印本之前;同日博客把旗舰任务定为不给起点、100 个预算、33 个靶点,说更强的模型“至少能做到一点”,比访谈里的说法弱。
Minos 的环境和一部分推理轨迹已经公开;约 10 万条 SAR 轨迹、每天新增约 2 个环境。
公司自述
来自 Leash 自己的博客;公开不等于独立验证,预印本本页没有读。
从 DNA 上拿下来合成后,易靶点的命中约九成仍有效,难靶点约一半。
公司自述
他说“在我们手里”,也说别人的经验不同;没有说怎样算有效。
一个炎症项目从库命中到小鼠 PK/PD 用了六个月,血中细胞因子按预期变化;约 700 个靶点上有看起来有选择性的起始分子。
公司自述
没有披露开发候选分子、靶点或数据;只到小鼠;约 700 他自己说“我想大概是”,选择性怎样定义没有说。
DEL 读数给出相对排序,但还换算不成 Kd;正在加 SPR 测量建立效力梯度。
尚未闭环
他说“我不会说我们已经做到了”。
规模化的生命科学测量只有成像和测序两种;资金更多的实验室也难以很快复制,因为护城河是追查实验作弊模式的文化和工具。
受访者判断
他自己称前一句是“热门观点”,并说蛋白组学的人会不同意;后一句是他对自家优势的看法。
更强的模型更快放弃没有前途的区域,弱模型反复微调同几个分子。
公司自述
跟进节目里说的;没有给数字,他说不知道为什么。
没有用贝叶斯优化当对照,因为这块地形太尖、维度太高。
受访者判断
他的判断,没有试过;所以“更强的模型更会搜索”没有和传统搜索方法比过。
药物化学家看过一些记录,认为智能体的假设合理;没有让人做同一个任务。
公司自述
“不多”的几位专家的印象,没有数字;他说要给人用需要把可选的积木缩小。
已筛约 1000 个蛋白;现在每天做 2 个新环境,想做到每天 20 个。
目标
他说“不用太费劲”就能到 20 个;时间点字幕读不清(“26 或 27”),没有写成到期日。
公司以外的小组用公开的 Minos 环境评测或训练智能体,并在新的真实实验里检验。
会表现为 外部论文写明用的环境、新靶点或新化学库上的命中率,以及与未用 Minos 的基线对比。只用自家 DEL 数据训练的模型,在别人的化学库上能否优于随机。
会表现为 BELKA 最难那一档或同类外部切分上的公开分数,由 Leash 以外的人跑,并写明训练数据与测试的重叠检查。炎症项目或其他项目出现点名的开发候选分子,或一家合作成立的新公司。
会表现为 写明靶点、分子类型和小鼠 PK/PD 数据的公告或论文。DEL 读数能否校准成亲和力。
会表现为 同一批分子的 DEL 富集与 SPR 测得的 Kd 的对照,写明相关性和例外。Minos 里,语言模型智能体是否比不用语言模型的搜索方法更会选分子。
会表现为 同一批环境和同一份 100 个分子的预算下,贝叶斯优化或类似方法的结果与智能体并排给出,并写明谁跑的。在这些环境里训练出的强化学习进展,能否迁到没见过的生物问题。
会表现为 在新靶点或新化学库上的实验结果,对照没有在 Minos 上训练的同一个模型。后来出现的、检验或限制这次说法的证据,以及日期已过的目标。
访谈录于约两个月前;节目发布同日,Leash 发布了 Minos 的博客、预印本和部分数据。与访谈相比:智能体练习场有了名字和固定的旗舰任务,轨迹数从“一个周末一万多条”变成六周约 10 万条,结论也更谨慎,说更强的模型“至少能做到一点”。这些仍是公司自己的结果。Leash Bio, 'Making reality replayable' ↗
Latent Space 在 Minos 发布后加了一期 16 分钟的跟进,Quigley 回来讲。与主访谈相比:轨迹数说到约 9 万;更强的模型离开没前途的化学区域更快,弱的反复微调同几个分子,他说原因还不知道;他没有用贝叶斯优化当对照,认为这块地形太尖、维度太高,“主要觉得没用”;让药物化学家看过一些记录,说假设合理,但没有让人做同一个任务;已筛约 1000 个蛋白,现在每天做 2 个环境,想做到每天 20 个;从这些环境学到的强化学习进展能否迁到新的生物问题,他说还不知道。这些仍是公司自己的说法。Latent Space, 'An Eval for AI Scientists That Knows the Answer Key' ↗
读于 2026.10.15 Latent Space 节目页附带的 Substack 机器转写,带说话人编号但不带姓名,通读;音频和视频没有听。主持人是 Brandon Anderson(Atomic AI)和一位联合主持人。节目页说访谈录于发布前约两个月,所以“最近”“上周”指的是八月前后。数字对照了 Leash 自己的博客:同日发布的 Minos 文章、2026 年 2 月的 Hermes 文章和 2025 年 12 月关于蛋白“外号”的文章,三篇都读了全文;Hermes 预印本(2026-02-09)已读,Clever Hans 预印本(arXiv 2512.20924)读了摘要、方法和结果表。时间戳来自机器转写,与 YouTube 版本时长相同(1:49:56),没有对着 YouTube 播放核对。 2026-10-26 的 16 分钟跟进节目读的是作者提供的带时间戳 YouTube 字幕全文,没有听音频。 打开原访谈 ↗Latent Space 节目页(含文字稿) ↗