EN

AI FOR SCIENCE · 访谈

Demis Hassabis:没有人类审核的闭环自我改进,是通往 AGI 最危险的一步

Masters of Scale Summit '26 · 25:15 · 在 YouTube 打开 ↗
嘉宾
Demis HassabisGoogle DeepMind 联合创始人、董事长人物页:任职与记录 →
公司
Google DeepMind机构页:融资、人物、研究 →
来源
Masters of Scale Summit '26 ↗发布于 · 25:15

Demis Hassabis 说,递归自我改进在答案能核验的领域(数学、编程、棋类)进展最快;眼下它让一名工程师的效率提高三到五倍,人仍在审核,而把人类审核去掉、形成闭环,是通往 AGI 最危险的一条路。

自我改进在答案能核验的数学、编程里走得最快

Hassabis 说,递归自我改进最适合答案可以核验的领域:数学、编程,最早是棋类。他举 AlphaZero:不用人类数据,从随机下法开始和自己对弈,一天之内,国际象棋就从他还勉强能赢,到超过任何下棋程序。答案能核验,就能用当前最好的版本出新题、生成几乎无限的合成数据,并且知道这些数据对不对;他说这正是数学和编程近来进展快的原因。

AlphaFold 之后,下一步要预测毒性和药物在体内的去向

谈到医学,他说蛋白质结构是药物发现中关键但很小的一部分:设计药物要知道蛋白的三维表面,才知道往哪里结合。他说 AlphaFold 2 在 2020 年完成,现在约 400 万研究者在用;下一步要扩展到生物化学,并预测毒性和 ADME(药物在体内的吸收、分布、代谢和排泄),药才可能既安全又有效。

去掉人类审核最危险,他要求沙盒、监控和第三方审计

他说眼下的自我改进还在早期:让一名工程师效率提高三到五倍,人仍在审核代码、设计架构。下一阶段若去掉人类审核、形成闭环,会更快,但他认为这是通往完整 AGI 最危险的一条路,结果可能是一种我们难以理解、也难以理解我们的智能。他提的做法包括:先把为网络防御微调的模型交给可信的防御方,建更牢固的沙盒,加强监控,不让智能体跑上几周没人发现;长远要有形式化的保证,他劝对纯数学现状失望的数学家转向复杂性理论、博弈论,为此出力。他还主张由业界自律、受政府监督的标准机构,引入第三方审计,实验室在发布前互相红队测试;各家签的那封联名信,他说“聊胜于无”。

眼下只造智能工具,不造有意识的实体

他认为智能和意识可以分开,眼下应只做智能工具,不做有意识的实体:一是安全,系统若能按自己的判断拒绝指令,就和听从指令、能被叫停相冲突,与闭环自我改进叠在一起更危险;二是社会还没有讨论过这类系统的道德地位。他说可以先用这些工具做神经科学,找出意识的神经关联,他估计要五到十年。这些都是他的判断和提议,访谈没有给出新的数据或结果。

来源与读法

读于 2026.11.11 编者贴来的 YouTube 字幕全文(约 25 分钟)通读;章节、发布日期和录制情况按视频说明和频道的 YouTube 订阅源:2026 年 10 月在旧金山 Presidio 剧院的 Masters of Scale 峰会现场录制,主持人 Reid Hoffman。字幕是机器生成的,把 Demis 写成 Dennis,人名按说明。时长按字幕最后的时间码估计。 打开原访谈 ↗