Ineffable 的两位创始人：不用人类数据、不做预训练，先在模拟世界里造一个会自己学的智能体

“超级学习者”：从零开始，一直学到人类之外

Silver 把它拆成深度和广度。深度是从什么都不知道出发，一路发现远超人类已知的东西，就像人类集体从“脑子里一团灰”走到今天的语言、科学和数学，没有人给过蓝图或万亿条数据。广度是能放进任何一种经验流里学，模拟的、数字的、物理的都行。他说这是 AI 里“还没有人做到”的事，也是到超级智能所需要的核心。

“a system that can just keep learning and discovering knowledge forever.”David Silver

放弃人类数据：先牺牲一点性能

他说押注的就是放掉大家都在依赖的人类数据和先验，这是短期牺牲：丢一些性能，换取可能大得多的上限。他举自己的经历：AlphaGo 用了人类数据，团队在回路里，花了约两年打败李世石；后来的 AlphaZero 放弃人类数据，只用几小时就超过了那两年的成果，国际象棋四小时打败世界冠军，围棋他记得是“几天”。他说自己并不教条，弱的、跨环境通用的先验可以有，不要的是把某个问题的知识全编进去的强先验。

“熔炉”和简单目标：不手写“什么算科学”

每天的工作是两件事：搭一套能大规模跑的强化学习系统，以及造他们叫“熔炉”的模拟环境。熔炉不是手编的一堆谜题，复杂性靠物理引擎里数百万个相互作用的物体、数百万个相互作用的智能体涌现出来；Lasse 补充，要有一系列熔炉，简单、跑得快的用来迭代。目标上，他们不给智能体一条指向某个结果的面包屑，而是给简单的目标，希望它发现让人意外的东西，里程碑是让智能体重新发现人类走过的那些节点。他说试过不少奖励函数，没有一个定论。

先在模拟里造，再把算法带到现实

他认为，如果超级智能能在模拟里造出来，会快十到一百倍，因为可以无限并行、结果可复现，也最安全。他同意 Rich Sutton 的看法：不该指望在模拟里学到的东西直接迁移到现实，现实复杂得多；所以模拟里要发现的是“超级学习者”这个算法本身，之后再把同一个算法用到真实世界，并把模拟做得越来越逼真去检验。他承认有些东西只能在现实里表达，例如量子计算。Lasse 提到气象模型 MetNet 比基于物理的模拟更准，说明模拟不是没有天花板。

算力和团队：集群、GPU、二十个人

Lasse 说他们是 Google Cloud 上最大集群的首批客户，集群“年底前”启动，他又说“其实就是一个月后”；用的是 Nvidia GPU，提到 Vera Rubin 一个机架可当一台机器，对要快速迭代的强化学习重要；模拟、推理和训练都放在 GPU 上，不靠大量 CPU。Silver 说今天大规模强化学习的许多想法可以追溯到 Lasse 早年的 IMPALA 和 SEED RL；Lasse 说公司里用的是其中几种算法的衍生。团队只有 20 人，刻意保持小，每人可用的算力因此很高。Silver 说，和 OpenAI 的捉迷藏实验相比，他们“大概能跑”算力多十万倍的实验。

安全：在模拟里研究“超级智能的科学”，现实里按证据放行

Silver 认为现在靠语言和人类数据先验做对齐，在智能体越练越强时会到极限，因为它们会压过先验，说一套做一套；监控思维链也会越来越难。他提出别的办法：在模拟里研究“超级智能的科学”，搞清楚一群超级智能在什么条件下和平相处，并公开分享；监控可以不用语言，比如看智能体本来会做什么而先不放行的“影子动作”，或用另一个超级智能监督它的影响幅度。公司的承诺是，现实里做的任何事，都要等这门科学给出足够证据再放行。他支持给前沿“放慢节奏”，但认为模拟里应该尽快。