在SIGGRAPH上：NVIDIA 用 Agentic 和 Physical AI 推进图形和仿真。

今年在洛杉矶举行的SIGGRAPH大会(7月23日星期四)上,

NVIDIA主题演讲于今天,7月20日下午3点45分举行,由AI打造的NVIDIA AI的研究和工程领导人尼尔·阿什顿,刘爱德华和刘明裕讨论神经渲染技术,世界模型和AI模拟方法.

与NVIDIA及合作伙伴一起展示:

• NVIDIA 主旨摘要
• 模式上下文协议连接将智能体AI带入内容创建
• 新建合成视频探测器 NIM 微服务
• Cosmos 3 本地物理AI的边缘开放世界模型
• NVIDIA NemoClaw在DGX站 配有NVIDIA智能体工具箱
• 虚拟世界和物理AI的研究突破

在SIGGRAPH主题演讲中,NVIDIA领导人纲要 下一个时代的图形和物理AI QQ

NVIDIA AI的研究和工程领导者今天在SIGGRAPH上登台,分享神经渲染,世界模型和模拟的最新进展. 这些技术正在改变在所有领域创建和使用数字世界的方式,可以应用于创造性工具、工业设计、机器人和自主系统。

NVIDIA创始人兼CEOJensen Huang在介绍影片中表示, “创造者和设计者需要足够强大的工具, “无论对游戏、电影、机器人或工厂数码双胞胎来说,目标是相同的:创造符合实体世界的忠诚和现实的虚拟世界。”

NVIDIA的应用深层学习研究总监刘爱德华通过展示3D导神经渲染而踢掉了演示.

他分享了NVIDIA在神经渲染方面的最新进展如何应对三大研究挑战:保存艺术意图,确保产出在时间上跨帧稳定,实时渲染4K内容.

Edward Liu说, “控制艺术方向对我们来说是一个非常激动人心的研究方向。” “模拟定义了世界,一代丰富了它的外观,艺术家指导结果......AI扩展图形的方式与可编程的遮阳器和射线追踪在之前扩展图形的方式相同。”

NVIDIA杰出工程师尼尔·阿什顿(Neil Ashton)以天气预报,汽车空气动力学,热力设计等应用来报道AI物理学的创新.

在气候和天气研究中,NVIDIA Earth-2系列的开放模型使科学家能够将其模拟分辨率提升到新的水平,其AI模型受过模拟数据培训——同时实现准确度与传统方法相同或更高.

Ashton说,“我们面临的挑战是把这些人工智能模型在天气和气候中的成功应用到我们生活的世界中,以便能够设计未来的飞机、汽车和数据中心。” “NVIDIA真正关注的事项之一是帮助实现这一愿景。”

Ashton分享了NVIDIA Research及其合作伙伴所开发的最新模型架构如何将模型检查站压缩到几百兆字节,这是百万次压缩,可以在一秒内实现物理准确的可视化.

NVIDIA的宇宙实验室副总裁刘明宇分享了通过NVIDIA宇宙(英语:NVIDIA Cosmos)提供的世界模型的最新进展,这是加速物理AI系统发展的世界基础模型平台.

他说,“使一个基础模型成为基础模型的是它消耗大量不同数据的能力。” “我们用各种物理任务的数据对宇宙进行了培训,包括世界理解、预测、模拟和行动。 我们用一个骨干来完成所有不同的任务。”

刘明裕走遍了用于给予NVIDIA宇宙3全球理解的转换器混合模型架构. 这种能力能够产生物理上准确的结果,这些结果跨越不同的浮雕——人造机器人、抓手或自驾汽车。

他说,“每个浮雕都讲不同的语言。” “我们的解决办法是建立一个共同的词汇。”

NVIDIA Cosmos包括一个大小不一的开放型号家族,在一系列部署使用案例中支持开发者. 它的最新添加,今天发布, 是宇宙3边缘, 一个40亿参数模型 建造实时运行,在设备上。

刘明裕也宣布了Cosmos-Dreams,这是一套闭路模拟器的集合,一位同事展示了为自主车辆建造的模拟器,该模拟器从一个单帧生成整个世界,运行在单一的NVIDIA RTX PRO 6000 GPU上.

开发者可以使用宇宙梦(Cosmos-Dreams)来验证其模型的准确性,然后将其部署在真正的舰队中——或者用它来对模型进行关于AI生成的在现实世界中难以创造的情景的培训,在节省运行成本的同时加速开发.

注意整篇基调,并阅读更多关于宇宙3边缘的内容.

AI 智能体将创意工具扩展至百万 QQ

主要的创意应用程序是打开模型上下文协议(MCP)连接,让AI智能体在场景,镜头,时间表,资产和编辑出现的工具内部工作——而创造者则保持控制.

20多年来,NVIDIA技术——从GPU加速的观光港和CUDA的动力效应到NVIDIA RTX PRO射线追踪,AI发音,神经渲染和实时模拟——帮助加速了艺术家,工作室和开发者用来打造世界游戏,电影,电视节目和广告内容的DCC工具.

MCP正在开启加速创造的下一章:应用程序不仅速度更快。 他们已经做好了准备。

从加速到行动

有了MCP连接的工具,艺术家或技术总监可以要求智能体人检查一个场景,以发现缺失的纹理,旗帜不一致的色彩管理,准备导出变体,为日报制作播放器或验证一个违反管道规则的镜头,所有这一切同时将创造性的决定保留在人类手中.

同一NVIDIA平台加速了视港,渲染,模拟和AI效果,现在可以在为专业创作者设计的系统上为本地智能体,模型推论和多应用工作流程提供动力.

NVIDIA RTX PRO工作站,DGX Spark和DGX站系统的设计旨在使加速的AI性能更接近艺术家,开发者和工作室管道. 在当地运行模型和智能体能够帮助提高响应能力,减少对外部服务的依赖,并将敏感的创造性数据保存在受控制的环境中.

NVIDIA智能体工具包也支持MCP集成,包括一个MCP客户端用于连接远程MCP服务器,以及一个MCP服务器用于向任何MCP客户端发布工具.

创意生态系统开始智能体 - Ready

在整个创造性生态系统中,创造性的应用和平台正在揭露MCP连接或MCP准备的工作流程,使AI智能体商能够更深入地接触真实的生产环境.

Adobe正在将其创作智能体扩展至Firefly,Express和Creative Cloud,为AI Associate体验提供动力,使创作者能够描述他们想要的结果,而助理则主持多步工作流程. Adobe也正在通过Adobe连接器将其支持等级的创作工具带给第三方AI平台,在人们创造和工作的地方扩展其创作能力. 对于开发者,Adobe提供Adobe Express开发者MCP Server,使得AI编码助理能够使用官方文档和应用程序编程接口(API)来构建Adobe Express 添加.

Affinity by Canva为克劳德引入了AI连接器,使用MCP将自然语言自动化直接带入Affinity. 设计者可以要求克劳德处理重复的生产任务,如重命名层和艺术板,重新调整大小和重制多个频道的资产,应用批量编辑,优化矢量路径和准备文件交付. 除了个别的任务,克劳德还可以帮助用户建立适合他们工作流程的可重复使用的脚本和自定义特性,减少生产间接费用,并给创作专业人士更多的时间专注于设计.

Blender通过Blender Lab提供轻量级MCP服务器,为Blender的Python API提供自然语言界面,文档和复杂设置. 对于独立的艺术家和工作室来说,Blender提供了一个强有力的例子,说明开放的创作工具如何在不改变创作重力中心的情况下成为智能体访问工具.

Boris FX Silhouette现在包括一个MCP服务器,允许AI助手直接在您的项目内工作. 将Silhouette的FX脚本API作为一流的MCP工具,助手可以检查项目,构建节点树,编辑形状和键框,并渲染帧. 一个新的首选项面板通过安装MCP包来简化设置,生成一个即时的粘贴客户端配置,并测试连接. 交互式在线模式连接到您的活动会话,而离线模式则运行无头实例用于自动化,批处理,以及大规模的工作流程.

Foundry Griptape本土支持MCP,提供专门为专业VFX管道设计的AI管弦乐. 这种整合使工作室能够安全地管理多种AI模型和智能体,同时保持必要的可追溯性和创造性控制. 通过融合Blender和Founderry Nuke等工具,Griptape将重复的生产任务自动化——如清理,matte绘画和质量控制——同时确保艺术家仍然在创作过程的最终指挥.

SideFX正通过其新的APEX脚本工作流程将MCP支持带至胡迪尼22. AI助手可以访问APEX脚本语法,功能,文档和实例的整理集,帮助艺术家生成和完善程序字符钻机的代码. SideFQQ的初始实施侧重于APEX脚本和字符操纵,而社区开发的MCP服务器为智能体商与胡迪尼互动提供了更广泛的途径.

不真实引擎最近宣布有能力通过MCP将AI客户端连接到不真实编辑器,使得AI工作流程能够通过标准化的协议与编辑能力互动. 对于游戏开发者,虚拟制作团队和实时艺术家来说,这为能够超越场景,资产和项目状态进行推理的助手打开了大门.

参见NVIDIA RTX PRO和DGX系统如何使本地AI智能体更接近SIGGRAPH的创意工作.

NVIDIA 媒体帮助AI 新闻室检测合成视频 QQ

每天,视频都会将世界最大的故事带入视线,从跨大陆的突发新闻,到重建社区的活动,到团结全球人民的时刻。 在24小时不停地移动的新闻循环中,可信赖的视频是人们通过其中的媒介来了解正在发生的事情,理解它为何重要,并保持连接和最新消息.

因此,公众对视频的信任比以往任何时候都更加重要。 在SIGGRAPH上,NVIDIA宣布了合成视频探测器NVIDIA NIM微服务,作为NVIDIAAI媒体平台的一部分,将AI辅助检测信号带入编辑和媒体工作流程.

NIM微服务按帧分析视频帧,生成其是否包含合成内容的分类分数. 编辑团队可以使用该分数优先排列片段以供审查,旗帜或检疫可疑片段,或者将其升级以进行更深入的分析.

微观服务不是取代既定的核查做法,而是为具有时间敏感性的决定提供另一个信号——帮助各小组迅速行动,同时保护编辑标准和确保公众信任。

合成视频探测器在新闻室和社会视频工作流程中常见的压缩,再大小,裁剪和重编码步骤后依然有效. 在NVIDIA测试中,该模型的精度在未压缩视频上达到92%,压缩15%时达到87%,压缩50%时达到82%.

NIM微服务可以在NVIDIA RTX系统上以22毫秒的速度处理1080p视频,在NVIDIA L40 GPU上处理约30毫秒.

在视频中部署检测

各组织可以部署NIM微服务,更接近于捕捉、储存或分发敏感视频的地方,包括在现场、边缘、混合式和经核准的空中布置环境中。 这种灵活性有助于各小组保持对视频数据、接入和业务的控制。

合作伙伴的通过已经帮助将合成视频探测器从模型能力转移到可部署的媒体基础设施。 Wowza正在通过Wowza视频情报框架将微服务嵌入其中,将实时合成视频检测纳入在170多个国家的35 000多个部署中所使用的实时流程。

这一规模很重要,因为许多最易受合成媒体风险影响的组织,包括广播公司、政府机构、金融机构和关键基础设施运营商,在数据存储、安全和业务控制方面也面临严格的要求。

通过将合成视频探测器与已经使用的视频基础设施层客户配对,Wowza可以帮助让AI辅助核查更接近摄入和流媒体操作,让团队实时标注可疑视频,同时将敏感镜头保存在自己的环境中.

尝试NVIDIA合成视频探测器NIM微服务.

见关于软件产品信息的通知。

NVIDIA Cosmos 3 边缘将边疆世界模型带到边缘 GPU 用于本地物理 AI QQ

物理AI系统依赖于世界模型来感知,理性超越和预测物理环境. 但现实世界是广阔的,无法预测的,并且总是在变化.

无论是机器人导航仓库还是监视工厂地板的摄像网络,物理AI系统都需要了解现在发生的事情,了解接下来会发生什么的原因,并迅速采取行动以产生影响。 直到现在,在边缘提供这种前沿AI往往意味着为部署效率进行交易的模型能力。

NVIDIA Cosmos 3 Edge帮助消除这种权衡。 40亿参数的全米模型被优化,用于NVIDIA Jetson,NVIDIA RTX PRO和NVIDIA DGX系统以及GeForce RTX GPU的内存高效部署和高吞吐量.

扩展NVIDIA Cosmos 3,紧凑的世界基础模型可以理解和生成文本,图像,视频,环境声音和动作. 它的转换器混合结构能够使物理上的基础,实时的视觉分析以及机器人在设备上的动作成为可能.

Cosmos 3 Edge在边缘提供前沿物理AI——在VANTAGE-Bench上排名第1,用于在其参数类中实现视觉分析成功,并通过培训后使最先进的机器人能够学习.

横跨机器人、自主车辆和智能基础设施

开发者可以使用NVIDIA DGX Station side AI 超级计算机在专有机器人和传感器数据上对宇宙3边进行后训练,以构建专门的世界行动模型,然后将其部署在NVIDIA Jetson Thor上,用于实时机器人控制政策,包括操纵或运动. Agile Robots,Doosan Robotics,Siemens和Skild AI都是正在评价宇宙3边缘机器人工作流程的合作伙伴之一.

对于自主车辆,Cosmos 3 Edge支持路面理解,交通推理,物体意图预测和在资源约束硬件上的政策模型蒸馏. 该模型可用作汽车政策模型蒸馏的学生骨干,包括NVIDIA Alpamayo远景语言行动模型。

对于智能基础设施,Cosmos 3 Edge能够实时推断Jetson的最佳水平和准确度 Thor for vision agents that reason through sive video stream for 交通监控,公共安全,物流和工业检查。 开发者还可以在NVIDIA Jetson Orin 8GB上独立运行20亿参数的NVIDIA Nemotron动力推理模块. Centific,Vaidio和YUAN正在评价Cosmos 3 Edge,以加速在边缘运行的视觉剂.

宇宙平台现在可公开使用

Cosmos 3 Edge是开发物理AI世界模型的更广泛的NVIDIA Cosmos平台的一部分. 随着Cosmos 3在Edge(4B),Nano(16B)和Super(64B)尺寸中可以使用,开发者可以为每个开发阶段选择正确的模型,从边缘部署到高纯度生成.

Cosmos 3 Edge,Cosmos 3 Nano和Cosmos 3 Super现在可在Hugging Face上找到,并附有GitHub上的推论和训练后框架和食谱.

AI Agents Make Easy:在DGX车站本地搭建和运行个人AI Agents,使用NVIDIA Agent Toolket QQ

超级特工已经抵达桌面 NVIDIA DGX站是AI时代的终极台面超级计算机,有了NVIDIA Agent Toolket,设置只需要三个步骤,系统大约30分钟就可以运行.

在DGX站,NVIDIA智能体工具包汇集了NVIDIA NemoClaw,NVIDIA NemoTron 3 Ultra开放模式,NVIDIA Omniverse图书馆作为智能体无障碍工具和技能,以及一个单一的本地系统中的安全运行时间——不需要互联网. 随着工作量的扩大,开发者可以将多个系统连接在一起,为同时存在的用户,更多的智能体和更大的模型服务.

这使得创造者和工程师能够拥有自己的智力,拥有一个随时可以在当地运行的系统. 完整的堆栈——模型,智能体,工具——为创建和运行特定域的"超级智能体"提供了一个平台,这些智能体是根据用户自己的数据和知识定制的.

DGX站开放的NVIDIA智能体工具包堆栈包括:

• NVIDIA NemoClaw,用于构建定制自主智能体的开放式蓝图,将模型包装,驾驭和运行时间一起作为团队构建专业,域特异智能体的起点.
• NVIDIA Nemotron 3 Ultra是一个前沿5500亿参数的开放型号,优化后运行在DGX Station GB300系统上,并成为各团队可以自定义自己的域的模式层.
• NVIDIA Omniverse Library将智能体技能扩展至物理模拟和3D资产工作流程,赋予了远超通用智能体能力的创意和工程专业工具.
• NVIDIA OpenShell,开源安全运行时间,保持智能体沙箱并按定义的政策管理智能体如何与工具,系统和数据互动.
• NVIDIA GB300 Grace Blackwell Ultra桌面超芯片从DGX车站的桌子上传送数据中心级的性能,最多20个Petaflop的FP4AI计算器和748GB的一致内存来运行尼莫特隆Ultra等大型模型.
• NVIDIA ConnectX-8 SuperNIC在DGX车站提供高达800GB/s的带宽,提供极快,高效的网络连接,并支持连接多达两个DGX车站,以进一步提升模型容量和性能.

规模化效率

对经营规模智能体的团队来说 经济学在DGX车站发生了根本性的转变 Nemotron 3 Ultra),调制为开放的牵引装置,在硬件购买后提供不需每盘成本的领先性能,因此用户可以一次建设,可以按需要运行.

NVIDIA宣布了整合Blender的NVIDIA Omniverse库的蓝图——给予NemoClaw智能体可调用RTX传感器模拟和物理工具,为物理AI工作流程准备3D场景.

在DGX站上,设计师和工程师可以通过一个开放的蓝图,在一个盒子中运行该工作流程的核心部分——前沿模型,开放的牵引,安全的运行时间,3D工具——所有连接和可部署.

边疆模型可以将NemoClaw作为专门的子智能体,将特定域的工作委托给在DGX站在当地运行的智能体,直接接入Omniverse工具和Blender.

LangChain为Nemotron 3 Ultra调制了它的深层智能体,给设计师和工程师一个生产准备的路径,以成本的一小部分实现基准引导智能体性能.

Nous Research对Nemotron 3 Ultra进行了微调,用于其Hermes Agent的牵引,并被采纳用于生产工作量——直接展示拥有智能的价值. 为开发商的堆栈修补模型可以使特定域的智能体既更快又更有能力。 Hermes Agent也在其"模型背景协议"目录中添加了Blender,让团队直接从其智能体中激活Blender——一个使用工具的NemoClaw智能体可以运行在DGX站的活例.

对运行 OpenClaw 的团队来说, 这个堆积扩展了可能的东西 — — 将Nemotron 3 Ultra, Omniversities 工具以及DGX 站的局部推论带入一个环境, OpenClaw 的持久,长期智能体可以持续地在它们身上行动.

快速开发并部署新游戏本

现在有了两本新的游戏本,帮助开发者用NemoClaw和双节点部署来建立和运行智能体出盒子.

• “分布式工作负荷的Connect 2 DGX站”指导用户如何运行具有可伸缩性能的强大模型,将两个DGX站台系统连接起来。
• “Run NemoClaw With a local LLM / On Dual DGX Station”提供了如何在DGX Station上设置NemoClaw的走道,使拥有与Nemotron Ultra的边境情报的外线特工能够进入。

NVIDIA DGX站建成并可供ASUS,Dell Technologies,Exxact,GIGABYTE,HP,MSI和Supermicro订购.

开始NVIDIA NemoClaw和Nemotron Ultra在DGX站.

NVIDIA 将图形研究突破带入模拟和物理AI QQ

今年在SIGGRAPH上,NVIDIA的研究不只是专注于创造看起来真实的世界,而是现实地和实时的反应。

这一转变是NVIDIA21份被接受的技术文件的贯穿线——成为产生虚拟世界和推动现实世界机器培训的实时系统的基础。

无论产出是游戏,电影,机器人还是工厂数字双胞胎,目标都是一样的:用AI生成的世界来扩展创作画布,这些世界以3D为基础,由物理管理,由创造者指导.

最清楚的证明在MotionBricks:一个实时运动模型——训练超过35万个运动片段,以游戏引擎速度运行——让创作者引导和连接人物运动. 驱动屏幕上动画角色的同一模型驱动室内的Unitree G1人造机器人,使用计算机图形和模拟来加速物理AI的开发.

GPC是培训大型运动数据集的基因控制器的框架,它扩展了这一想法。 NVIDIA在大规模人类运动上预留了单一的控制器,赋予它可转移的传动技能,这些技能可以传递给新的任务. 把它视为运动控制的基础模型的开始.

为了建立虚拟世界测试这些运动,ArtiFixer将杂乱无章的真人世界3D捕捉变成了干净,完整的虚拟场景. 它还包括一种从场景几何——不追踪单一射线——直线预测光真地球光线的新方法。

为了让这些虚拟世界在真实世界中的行为如出一辙,一个新的解析器将难以模拟的材料——如雪,沙和弹性固体——带到NVIDIA牛顿物理引擎内部的生命中.

而为了让创造者控制,VideoNeuMat管道让他们可以重新使用,可燃的材料从基因视频模型中抽出,而ARDY自旋扩散模型则让他们从文本提示中实时引导3D字符运动.

上述链接的论文可公开获取,代码和模型可免费下载. 在SIGGRAPH加入NVIDIA学习更多.