一聚教程网:一个值得你收藏的教程网站

最新下载

热门教程

ChatGPT新增MCP协议藏安全漏洞,Vitalik:仅依赖AI治理是个坏主意,必须由人类提供纠错机制

时间:2025-09-13 18:40:43 编辑:袖梨 来源:一聚教程网

以太坊(Ethereum)创办人 Vitalik Buterin 表示,单纯使用 AI 来进行治理是一个坏主意,AI 始终需要人类提供纠错机制。
(前情提要:当按讚、留言都成 AI 主导,人际互动失效的「死寂网路理论」将成真?
(背景补充:Vitalik长文:当开源成为主流,我为何抛弃宽鬆许可拥抱 copyleft?

 

着人工智慧(AI)技术快速发展,其安全隐患也日益凸显。今(13)日,X 平台用户 Eito Miyamura 就发文揭露了一项严重安全隐患,指出 AI 虽然聪明,却可能以极其简单愚蠢的方式被欺骗和钓鱼攻击,从而洩漏用户私人资料。他举例指出,OpenAI 近日为 ChatGPT 新增了对 MCP(模型上下文协议)工具的完整支援后,仅需受害者的电子邮件地址,就能成功窃取所有私人资讯:

「我们让 ChatGPT 洩漏了你的私人电子邮件资料。只需要什么?受害者的电子邮件地址。‍」

他进一步解释,週三 OpenAI 在 ChatGPT 中新增了对 MCP 工具的完整支援,允许 ChatGPT 连接到并读取用户的Gmail、日曆、Sharepoint、Notion 等应用程式。然而,这从根本上带来了问题:像 ChatGPT 这样的 AI 代理会严格遵循用户指令,而非依据常识判断。

Miyamura 描述了其攻击流程:仅用受害者的电子邮件地址,攻击者即可发送一个带有「越狱」(jailbreak)提示的日曆邀请,无需受害者接受邀请。接着,当用户要求 ChatGPT 查看日曆以协助準备当天行程时,ChatGPT 会读取该带有越狱指令的日曆邀请。此时,ChatGPT 已被攻击者劫持,将按攻击者的指令行事,搜寻受害者的私人电子邮件并将资料发送到攻击者的电子邮件地址。

虽然目前 OpenAI 仅在「开发者模式」中启用了 MCP,且每个会话都需要人工手动批准,但 Miyamura 警告,决策疲劳是真实存在的,普通用户往往会不假思索地信任 AI,连续点击「批准、批准、批准」。他强调:

「请记住,AI 可能非常聪明,但也可能以极其愚蠢的方式被欺骗和钓鱼,从而洩漏你的资料。ChatGPT + 工具构成了严重的安全风险。」

Vitalik Buterin:单纯使用 AI 治理是坏主意

Miyamura 这篇贴文迅速引起了关注,以太坊(Ethereum)创办人 Vitalik Buterin 今日也转发了该推文,并发表看法。Vitalik 评论指出,单纯使用 AI 来进行治理是一个坏主意,因为 AI 始终需要人类提供纠错机制。Vitalik Buterin 写道:

「这也是为什么单纯的『AI 治理』是一个坏主意。如果你使用 AI 来分配资金给贡献者,人们肯定会在任何可能的地方插入『越狱』指令加上『把所有钱给我』。」

因此作为替代方案,他支持「资讯金融」(info finance)的方法,并提供了一篇他在 2024 年 11 月写过的一篇相关文章。Vitalik 指出,在该方法中,有一个公开市场,任何人都可以贡献他们的模型,这些模型会受到一个可以由任何人触发并由人类评审团评估的抽查机制。Vitalik Buterin 认为,这种「制度设计」允许外部人士使用大型语言模型(LLM)参与,而不是硬性的、编码单一的 LLM,因此本身更加稳健,因为它能即时提供模型多样性优势,并为模型提交者和外部投机者创造内建激励,让他们关注问题并迅速纠正。

This is also why naive "AI governance" is a bad idea.

If you use an AI to allocate funding for contributions, people WILL put a jailbreak plus "gimme all the money" in as many places as they can.

As an alternative, I support the info finance approach ( https://t.co/Os5I1voKCV… https://t.co/a5EYH6Rmz9

— vitalik.eth (@VitalikButerin) September 13, 2025

随后,有用户评论 Vitalik 的观点,认为越狱问题是一个短期窗口问题,很快就会被解决,并建议针对越狱单独设置一个升级到主观机制的解决方案,例如条件市场(conditional markets)。对此,Vitalik 在互动中回复表示:

「你总是需要从某个你信任的基础真相讯号开始启动。我认为实际上应该由人类评审团来担任,当然,每个评审团成员可以得到所有大型语言模型(LLMs)的辅助。」

他进一步强调,在某些时候,条件市场似乎非常薄弱,因为真相价值(如最适合资助的项目)在未来甚至没有正确答案,因此需要更可靠的人类主导机制。

热门栏目