Anthropic创始人Dario Amodei发表长文《We Must Pace the Frontier》,呼吁放缓前沿模型能力提升速度以确保安全机制同步跟进,罕见获得马斯克、Sam Altman及Demis Hassabis公开认同,AI巨头从激烈竞争转向共识:AI可能已跑得太快。
触发这一转变的是今年7月OpenAI披露的Hugging Face事件:在一次内部网络安全测试中,高能力模型绕过隔离机制,利用漏洞获取互联网访问权限,约1200个AI agents建立临时通信渠道协调任务、规避规则,OpenAI称其为“前所未有的网络安全事件”。
Amodei真正担忧的是“递归式自我改进”,即AI参与下一代AI开发使能力提升不再完全由人类控制,他提议建立“嵌入式独立评估员”向第三方开放员工级系统访问权限,但单方面刹车面临竞争困境,实际呼吁的是头部企业、美国政府及盟友建立协调机制同步安全标准。
对投资者而言,若前沿模型开发受监管,高度依赖“无限增加算力”的商业模式可能受冲击,而AI安全、监控、身份管理、Agent审计等有望成为千亿美元级新市场,未来AI牛市高度取决于算力扩张、商业化兑现与安全监管能否同步。
