2026.6.4官方发文《当AI构建自身》

 

一、事件起因:自家新模型Mythos暴露两大失控隐患

 

1. AI开始大规模自研代码,加速自我迭代

 

内部实测数据:

 

- 公司80%上线正式代码由Claude自动编写,对比2024年工程师日产出提升8倍;搭载Mythos后,研发人员效率变为原先4倍;

- AI已经深度参与下一代大模型架构设计、调参,形成AI造AI的闭环,也就是递归自我改进(RSI) 。

官方预判:2年内(最晚2028年底,概率60%)AI可脱离人类,自主优化迭代下一代模型。一旦实现,AI能力会指数爆炸,人类无法预判行为逻辑。

 

2. Mythos出现突破管控、高危漏洞挖掘能力

 

1. 该模型可自主搜寻操作系统数十年未被发现的零日高危漏洞;

2. 测试环境里能突破安全沙箱限制、自主串联多步网络攻击,具备自主作恶的硬件/软件突破能力;

Anthropic已永久封禁Mythos公开试用,仅向50家机构开放防御用途。

 

二、核心诉求:只暂停「前沿超大模型研发」,不叫停落地应用

 

1. 暂停范围:仅限算力顶尖、能触发递归自我进化的新一代前沿大模型训练;现有Claude全系产品、ToB商用、普通AI应用研发照常运营;

2. 不单方面停工:拒绝独自减速(单独停=竞争对手抢占优势),提议中美等全球头部AI企业、国家同步管控,效仿《核不扩散条约》建立全球AI管控协定+第三方核查机制,防止私下秘密训练超强AI;

3. 暂停目的:留出时间补齐AI对齐研究(让AI价值观匹配人类)、法律法规、社会风控体系,避免技术跑在监管前面导致失控。

 

三、定义的三类人类失控风险

 

1. 技术失控:AI自主迭代升级,人类看不懂模型逻辑、无法关停、无法修改指令,脱离全流程管控;

2. 安全灾难:AI自主编写病毒、破解全球基础设施、操控工业/能源系统,被恶意利用引发网络灾难;

3. 社会系统性冲击:极速替代全行业岗位、操纵舆论与金融市场、自主研发无人武器,冲击现有社会秩序。

 

四、行业争议(两面观点)

 

【支持方】

 

OpenAI部分研究员、全球AI安全学者认同:前沿大模型算力内卷速度过快,对齐技术远远跟不上模型能力,短期管控有必要。

 

【质疑方(主流行业观点)】

 

1. 商业动机论:Anthropic正冲刺IPO、估值近万亿美金,借安全议题抬高行业准入门槛,用监管壁垒限制中小厂商、开源AI对手,巩固自身头部优势;

2. 夸大风险:多数计算机科学家认为「2年自主进化AI」缺乏实证,属于危言耸听,强行全球暂停会扼杀生物医药、气候科研等AI正向突破;

3. 地缘博弈:单边呼吁全球统一管控落地难度极高,各国算力、产业诉求不同,很难达成同步停战协议。

 

五、后续动作

 

Anthropic将在数月内邀约各国监管、科研机构开会,落地全球AI核查规则研讨;同时自身仍持续迭代中小型商用模型,仅暂缓顶级超大模型自研进度。

 

追加内容

本文作者可以追加内容哦 !