图灵巨头再次决裂：Hinton支持的加州AI限制法案初步通过：LeCun李飞飞吴恩达喊打

如今，SB 1047虽然遭到了一些美国国会议员、知名AI研究人员、大型科技公司和风险投资人的强烈反对，但在加州立法机构中却还是相对轻松地通过了。

接下来，SB 1047将进入加州议会进行最终投票。由于加入了最新的修正案，法案在通过之后，还需要被送回加州参议院进行投票。

如果这两次都投票通过，那么SB 1047就会被送到州长那里，等待最终的否决或签署成为法律。

01 哪些模型和公司会受到约束？

根据SB 1047的要求，开发者或开发模型的公司，需要负责防止自己的AI模型被人拿去造成「重大伤害」。

比如制造大规模杀伤性武器，或发起损失超过5亿美元的网络攻击。顺便一提，CrowdStrike的「全球Windows蓝屏事件」，造成了超过50亿美元的损失。

不过，SB 1047的规则仅适用于那些规模十分巨大的AI模型——即训练成本至少为1亿美元，且浮点运算超过10^26次。（基本上就是照着GPT-4的训练成本定的）

据称，Meta下一代Llama 4所需的计算量将会翻至10倍，因此也将会受到SB 1047的监管。

对于开源模型及其微调版本，则需要原始开发者负责。除非花费的成本达到了原始模型的3倍。

如此看来，难怪LeCun的反应会如此激烈。

此外，开发者还必须创建能够解决AI模型风险的测试程序，并且必须每年聘请第三方审计员来评估其AI安全实践。

对于那些基于模型打造的AI产品，则需要制定相应的安全协议来防止滥用，包括一个关闭整个AI模型的「紧急停止」按钮。

等等……

02 SB 1047现在的功能是什么？

如今，SB 1047不再允许加州总检察长在灾难性事件发生之前，因安全措施疏忽起诉AI公司。（来自Anthropic的建议）

取而代之的是，加州总检察长可以寻求禁止令，要求公司停止其认为危险的某项操作，并且如果其模型确实导致灾难性事件，仍然可以起诉 AI 开发者。

SB 1047不再设立原本包含在法案中的新政府机构「前沿模型司（FMD）」。

但仍然设立了FMD的核心——前沿模型委员会，并将其置于现有的政府运营署内，规模也从之前的5人扩大到了9人。委员会仍将为所涵盖的模型设定计算门槛，发布安全指导，并为审计员发布法规。

在确保AI模型安全方面，SB 1047的措辞也更加宽松。

现在，开发者只需提供「合理注意」来确保AI模型不会构成重大灾难风险，而不是之前要求的「合理保证」。

此外，开发者也只需提交公开的「声明」来概述其安全措施，不再需要以伪证罪为惩罚提交安全测试结果的认证。

对于开源微调模型来说，也有了一项单独的保护。如果有人在微调模型上的花费少于1000万美元，他们将不被视为开发者，责任仍由模型的原始大型开发者承担。

03 李飞飞曾亲自撰文抨击

SB 1047对于AI界的影响，可以从「AI教母」李飞飞发在《财富》杂志的专栏文章中窥见一斑：

「如果成为法律，SB 1047将损害美国新生的AI生态系统，尤其是那些已经处于劣势的部分：公共部门、学术界和小型科技公司。SB 1047将不必要地惩罚开发者，扼杀的开源社区，限制学术研究，同时也无法解决真正的问题。」

首先，SB 1047将过度惩罚开发者并扼杀创新。

在AI模型被滥用的情况下，SB 1047将责任归咎于负责方和该模型的原始开发者。对于每个AI开发者，尤其是刚起步的程序员和企业家来说，预测其模型的每一种可能用途是不可能的。SB 1047将迫使开发者采取防御性措施——这本应是需要极力避免的。

其次，SB 1047将束缚开源开发。

SB 1047要求所有超过某一阈值的模型都包含一个「紧急停止按钮」，即可以随时关闭程序的机制。如果开发者担心他们下载和构建的程序会被删除，他们在编写代码或协作时会更加犹豫不决。这个紧急停止按钮将严重影响开源社区——不仅在AI领域，而且在包括GPS、MRI和互联网本身在内的各个领域的无数创新源头。

第三，SB 1047将削弱公共部门和学术界的AI研究。

开源开发在私营部门很重要，但对学术界更重要，因为后者无法在没有协作和模型数据访问的情况下取得进展。如果研究人员无法获得适当的模型和数据，又该如何去培养下一代AI领导者呢？紧急停止按钮将进一步削弱本就在数据和计算方面处于劣势的学术界。当我们应该加大投资公共部门AI时，SB 1047将对学术AI造成致命打击。

最令人担忧的是，SB 1047没有解决AI进步的潜在风险，包括偏见和Deepfake。 相反，它设定了一个非常随意的门槛——达到一定算力或耗资1亿美元训练的模型。这项措施不仅不能提供保障，反而会限制包括学术界在内的各个领域的创新。

李飞飞表示，自己并非是反对AI治理。立法对于AI的安全和有效发展至关重要。然而，AI政策必须支持开源开发，制定统一且合理的规则，并为消费者建立信心。

显然，SB 1047并没有达到这些标准。

参考资料：

https://techcrunch.com/2024/08/15/california-weakens-bill-to-prevent-ai-disasters-before-final-vote-taking-advice-from-anthropic/

https://techcrunch.com/2024/08/15/california-ai-bill-sb-1047-aims-to-prevent-ai-disasters-but-silicon-valley-warns-it-will-cause-one/

https://fortune.com/2024/08/06/godmother-of-ai-says-californias-ai-bill-will-harm-us-ecosystem-tech-politics/