全新TensorRT for RTX现可通过Windows ML自动调用,加速AI应用。全新NVIDIA NIM微服务与AI Blueprints帮助开发者构建工作流。Project G-Assist插件帮助发烧友打造专属助手工作流。
Preset URL: https://blogs.nvidia.cn/blog/rtx-ai-garage-computex-microsoft-build
生成式AI正在将PC软件转变为突破性体验——从数字人到写作助手、智能体与创意工具。
NVIDIA RTX AI PC和正在驱动这一变革,相关技术让用户更轻松地探索生成式AI,并在Windows 11上释放更强性能。
TensorRT已为RTX AI PC重新设计,将业界领先的TensorRT性能与即时编译(Just-In-Time)的本地引擎构建模式相结合,封装体积缩小至原来的1/8,使AI功能能够快速部署至超过1亿台RTX AI PC上。
Microsoft Build微软开发者大会上公布,TensorRT for RTX得到Windows ML原生支持。这一全新推理框架为应用开发者提供广泛的硬件兼容性与业界领先的性能表现。
NVIDIA发布的SDK让应用开发者更轻松地集成AI功能,并在GeForce RTX GPU上为应用加速。本月来自Autodesk、哔哩哔哩、Chaos、LM Studio和Topaz的多款主流软件应用将发布更新,解锁RTX AI功能与加速能力。
AI发烧友与开发者可通过NVIDIA NIM轻松上手AI开发。这是一套预包装、优化好的AI模型,能够在AnythingLLM、Microsoft VS Code和ComfyUI等主流应用中运行。现已推出FLUX.1-schnell图像生成模型的NIM版本,热门的FLUX.1-dev NIM也已更新,支持更多RTX GPU。
对于希望零代码入门AI开发的用户,Project G-Assist是一款RTX PC AI助手,它提供了一种简单的方式来通过构建插件创建助手工作流。目前已有多个社区插件上线,包括Google Gemini网页搜索、Spotify、Twitch、IFTTT和SignalRGB等。
TensorRT for RTX为AI推理加速
当下的AI PC软件栈要求开发者做出取舍:选择硬件支持广泛但性能较低的框架,或性能优化但只支持特定硬件/模型,需开发者维护多种实现路径。
全新的Windows ML推理框架为解决这些难题设计。Windows ML基于ONNX Runtime构建,可无缝连接由各硬件厂商提供和维护的优化AI执行层。
在GeForce RTX GPU上,Windows ML会自动调用TensorRT for RTX。这是一款专为高性能和快速部署优化的推理库。与DirectML相比,TensorRT在PC端AI工作负载中可带来超过50%的性能提升。
Windows ML在使用便捷性上的优势让开发者受益匪浅。它可自动选择合适的硬件运行各AI功能,并下载对应的执行程序,无需将相关文件打包进应用程序中。这使得NVIDIA能够第一时间将最新的TensorRT性能更新推送给用户。基于ONNX Runtime构建,Windows ML可兼容任意ONNX模型。
TensorRT 性能优化完成后即刻推送至用户
为进一步提升开发者体验,TensorRT已针对RTX平台进行了重新设计。开发者无需再预生成TensorRT引擎并随应用打包发布,TensorRT for RTX采用即时执行(Just-In-Time)的本地引擎构建模式,在数秒内针对用户的RTX GPU进行AI模型运行优化。该库大幅精简,体积缩小了整整8倍。
TensorRT for RTX现已通过Windows ML preview向开发者开放,并将在6月作为独立SDK通过NVIDIA Developer正式发布。
开发者可通过以下渠道了解更多信息:NVIDIA Microsoft Build开发者博客、TensorRT for RTX发布博客,以及Microsoft的Windows ML官方博客。
扩展Windows 11 PC上的AI生态系统
开发者若希望为应用添加AI功能或提升性能,可利用NVIDIA丰富的SDK工具套件。这些包括用于GPU加速的CUDA与TensorRT,用于3D图形的DLSS与OptiX,用于多媒体处理的RTX Video与Maxine,以及用于生成式AI的Riva、Nemotron与ACE。
本月,多款热门应用发布更新,借助 NVIDIA 软件开发工具包(SDK)实现专属功能:
● LM Studio 已发布更新,升级至最新 CUDA 版本,性能提升超 30%。
● Topaz将推出一款用于提升视频画质的生成式AI视频模型,通过CUDA加速。
● Chaos Enscape与Autodesk VRED将加入DLSS 4支持,实现更高性能与图像质量。
● 哔哩哔哩将集成NVIDIA Broadcast功能,使主播能在哔哩哔哩直播姬应用中直接启用NVIDIA虚拟背景,从而提升直播质量。
NVIDIA 期待继续与微软及领先人工智能应用开发者合作,通过 Windows ML 与 TensorRT 的集成,助力应用在搭载 RTX 技术的设备上加速人工智能功能。
NIM微服务与AI Blueprint让本地AI开发更轻松
AI开发起步对于PC用户来说往往十分繁琐。AI开发者和发烧友需要从Hugging Face上超过120万个模型中筛选合适模型,将其量化为适合自己PC运行的格式,配置并安装各种依赖,步骤繁多。
NVIDIA NIM让这一切变得简单:它提供精心挑选的AI模型,预封装所需全部文件,并经过优化,可在RTX GPU上以最高性能运行。作为容器化微服务,NIM可在PC与云端之间无缝运行。
NVIDIA NIM 微服务可通过build.nvidia.com或主流 AI 应用,如 Anything LLM、ComfyUI 和适用于 Visual Studio Code 的 AI Toolkit下载。
在即将举行的Computex大会上,NVIDIA将发布FLUX.1-schnell NIM——由Black Forest Labs打造的高速图像生成模型,并更新FLUX.1-dev NIM,拓展其对GeForce RTX 50与40系列GPU的广泛兼容性。
这些NIM通过TensorRT实现更高性能,量化模型也得到进一步加速。在Blackwell GPU上,得益于FP4与RTX优化,其运行速度是原生模型的两倍以上。
AI开发者还可以通过NVIDIA AI Blueprint——基于NIM的示例工作流与项目框架快速启动项目。
上月,NVIDIA发布了3D引导生成式AI Blueprint,该方案可通过3D场景作为参考,精准控制生成图像的构图与视角。开发者可根据自身需求修改这一开源蓝图,或扩展其功能。
全新Project G-Assist插件与示例项目现已上线
NVIDIA近期推出了Project G-Assist,一个试验性AI助手功能。G-Assist让用户可通过简单的语音或文本指令控制GeForce RTX系统,相较于传统多个控制面板的手动操作界面,更加便捷直观。
开发者可利用Project G-Assist轻松构建插件、测试助手使用场景,并通过NVIDIA在Discord与GitHub上的官方账号发布。
为方便用户上手开发插件,NVIDIA现已提供简便易用的“插件构建器”(Plug-in Builder)——一个基于GPT的应用,支持零代码/低代码开发,仅通过自然语言指令即可生成插件。这些轻量化、社区驱动的插件采用简单的JSON结构与Python逻辑编写。
多款全新开源示例现已上线GitHub,展示本地AI如何增强PC与游戏体验:
● Gemini:现有Gemini插件已更新,新增对Google免费云端LLM的实时网页搜索功能。
● IFTTT:支持接入数百个IFTTT端点,包含IoT与智能家居设备,实现数字系统与物理环境联动的自动化流程。
● Discord:玩家在不中断游戏的情况下,可便捷分享游戏高光时刻或消息至Discord服务器。
前往GitHub探索更多示例插件,包括通过Spotify实现免手操作音乐控制、使用Twitch进行直播状态检查等。
[Project G-Assist | AI Assistant For Your RTX PC – New Plugins]
越来越多厂商也开始采用AI作为PC的新交互方式。例如,SignalRGB正开发G-Assist插件,实现多品牌设备间的统一灯效控制。SignalRGB用户不久后将可直接通过SignalRGB APP安装此插件。
SignalRGB 的 G-Assist 插件即将实现多品牌设备间的统一灯效控制
从本周起,AI开发者社区将能够在Langflow中以自定义组件形式使用G-Assist插件——从而让用户能够在低代码或零代码工作流、AI应用及智能体流程中集成函数调用功能。
Langflow 中的 G-Assist 自定义组件即将使用户能够集成函数调用功能
欢迎对Project G-Assist插件开发与实验感兴趣的发烧友加入NVIDIA Developer Discord社区,参与合作、分享作品,并获得支持。
每周,RTX AI Garage博客系列都会分享由社区推动的AI创新与内容,面向希望深入了解NIM微服务、AI Blueprint,以及如何在AI PC和工作站上构建AI智能体、创意工作流、数字人、生产力应用等的用户。
欢迎关注NVIDIA在微博、微信和哔哩哔哩的官方账号,获取最新资讯请订阅RTX AI PC新闻通讯。
请查看软件产品信息服务条款。
相关链接:
请访问NVIDIA Blog,查看相关内容:
https://blogs.nvidia.cn/blog/rtx-ai-garage-computex-microsoft-build
关于 NVIDIA
NVIDIA (NASDAQ: NVDA) 是加速计算领域的全球领导者。
# # #
媒体咨询:
Jade Li
NVIDIA GeForce, Studio PR
邮箱:jadli@nvidia.com
