Frankle：企业用 AI 卡在“怎么测”，不在模型够不够聪明

经验主义赢了：衡量行为，不是证明行为

他回到 2018 年：当时深度学习的争论是能不能有一个干净的理论，还是只能靠测。他的彩票假设论文的审稿分数是两个 9 和一个 5，5 分的理由是“没有证明”；面试教职时有人问他会不会做点“有原则的”工作，意思是理论和可证明的。他觉得这很冒犯，因为经验方法也是有原则的。他说这篇论文的发现“没有真正经得起时间”，留下来的是经验主义这个视角：可以问理论回答不了的大问题。今天没有人在为一个深度学习模型好不好写证明，评测公司的存在本身就说明这点。

“empiricism is principled.”Jonathan Frankle

瓶颈是描述要什么、知道做没做对

他把线画在 Sonnet 3.5：之后模型在很多复杂的企业和知识任务上多数时候够用。再聪明的人坐下来被说“去干活”也是一个没说清的任务，所以真正的难处是描述任务和判断是否完成，这是评测问题。他说，哪怕给一个比 Mythos 聪明十倍的模型，任务和好坏的标准没定，还是会失败。他还说“世界在复杂度上是分形的”：金融不是一件事，而是几千个小任务，每个又因公司的历史而不同，全世界可能只有三个人懂其中一个；所以“金融基准”“生物基准”这种说法他觉得荒谬，也不尊重真正做这些事的人。

先用最强模型做原型，定了才自训练

他的类比是软件：原型用 Python 随便写，确定值得做再用 Rust。对智能体也一样：先拿你喜欢的基础模型、写一点提示、做一两个评测例子，看这件事能不能做成；成本高没关系，因为是验证。确认有人喜欢、值得长期做，再往上走：用 GEPA 之类的自动提示优化，在自己的评测集上跑；再看小模型行不行；最后才是自训练，他说能把成本降 5 倍以上，并说 Cursor 和 Harvey 最近都提到过。评测是从“凭感觉试”慢慢变的：每个人都有自己测新模型的几道题，从那里开始，有了线上的事故再加进评测集，像 Waymo 召回车辆那样。

公开基准用来量科学，量不了你的业务

他说他没见过谁真心喜欢某个公开基准，但 ImageNet 这样的基准推动了整个领域。公开基准的偏差来自学界做得出什么、学界觉得什么重要：偏向编程，而软件工程只占经济的很小一块（他说约 1%）；强化学习环境也偏向编程，“一个 Docker 容器装得下环境”是编程视角，而 Databricks 的很多环境是几十 PB，要让智能体在里面改动再立刻还原又不弄坏生产环境，是新的系统问题。学界缺的是规模：16 块 H100 与在企业里训练模型不是一回事。所以 Databricks 内部主要用自己数据上标注的基准，同时也发布自己的，比如 OfficeQA，一个解析和推理基准，用的是美国财政部的文件。

钱、权限、安全：企业先问的三件事

他说企业客户现在先问的是成本，其次是治理（智能体该能访问什么），再次是安全。他开玩笑说“token 最大化的时代结束，价值最大化的时代到了”。治理难在：一个人对几百份从没打开过的文档有权限，智能体会找到它们，而人类难以事先想到会发生什么；他自己给智能体开了 Jira 和一份 Google 文档的权限，差点出了一个很复杂的状况，因为没想到两处数据合起来会怎样。所以他认为评测不能只看任务是否完成，还要看过程：用了什么权限、访问了什么、该不该访问。他说“没有人真正想清楚怎么测这个”。