百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

NVIDIA 加速人形机器人发展(英伟达 机器人)

cac55 2024-09-27 07:04 43 浏览 0 评论

7 月 29 日,NVIDIA宣布为全球领先的机器人制造商、AI模型开发者和软件制造商提供一套服务、模型以及计算平台,以开发、训练和构建下一代人形机器人。

整套产品包括用于机器人仿真和学习的全新NVIDIA NIM微服务和框架、用于运行多阶段机器人工作负载的NVIDIA OSMO编排服务,以及支持AI和仿真的远程操作工作流,该工作流允许开发者使用少量人类演示数据来训练机器人。

NVIDIA创始人兼首席执行官黄仁勋表示:“AI 的下一波浪潮是机器人,其中最令人兴奋的发展之一是人形机器人。我们正在推进整个NVIDIA机器人堆栈的发展,面向全球人形机器人开发者和公司开放访问,让他们能够使用最符合其需求的平台、加速库和AI模型。”

借助 NVIDIA NIM 和 OSMO 加速开发

NIM微服务提供了由 NVIDIA 推理软件提供支持的预构建容器,使开发者能够将部署时间从数周缩短到几分钟。机器人专家将能够通过两项新的AI微服务,在NVIDIA Isaac Sim(基于 NVIDIA Omniverse平台构建的机器人仿真参考应用)中增强生成式物理AI仿真工作流。

MimicGen NIM微服务可根据Apple Vision Pro等空间计算设备记录的远程操作数据,生成合成运动数据。Robocasa NIM微服务可在OpenUSD(一个用于在 3D 世界中进行开发和协作的通用框架)中生成机器人任务和仿真就绪环境。

现已推出的NVIDIA OSMO是一项云原生托管服务,允许用户跨分布式计算资源来协调和扩展复杂的机器人开发工作流,无论是在本地还是在云端。

OSMO大大简化了机器人训练和仿真工作流,将部署和开发周期从数月缩短到一周内。用户可以对各种任务进行可视化管理,包括合成数据生成、模型训练、强化学习以及大规模的人形机器人、自主移动机器人和工业机械臂软件在环测试。

为人形机器人开发者提供先进的数据捕获工作流

训练人形机器人的基础模型需要大量的数据。远程操作是获取人类演示数据的方法之一,但这个过程正变得越来越昂贵和漫长。

通过在SIGGRAPH计算机图形大会上展示的NVIDIA AI和Omniverse远程操作参考工作流,研究者和 AI 开发者能够从极少量远程捕捉的人类演示中生成大量合成运动和感知数据。

首先,开发者使用Apple Vision Pro捕获少量远程操作演示,随后在NVIDIA Isaac Sim 中仿真这些录像,并使用MimicGen NIM微服务基于录像生成合成数据集。

开发者可以使用真实数据和合成数据对Project GR00T人形机器人基础模型进行训练,以节省时间和降低成本。然后,他们可以使用Isaac Lab中的Robocasa NIM微服务(一个机器人学习框架)来生成经验并重新训练机器人模型。在整个工作流中,NVIDIA OSMO 将计算任务无缝地分配给不同的资源,为开发者减少了数周的管理工作量。

通用机器人平台公司傅利叶看到了使用仿真技术综合生成训练数据的优势。傅利叶首席执行官Alex Gu表示:“人形机器人的开发极其复杂,这项工作需要从现实世界中繁琐地获取大量真实数据。NVIDIA 的全新仿真和生成式 AI 开发者工具将有助于引导和加速我们的模型开发工作流。”

扩大 NVIDIA 人形机器人开发者技术的访问渠道

NVIDIA 提供了三个计算平台来简化人形机器人的开发,分别是:用于训练模型的NVIDIA AI超级计算机;基于Omniverse构建的NVIDIA Isaac Sim,使机器人可以在仿真世界中学习和完善技能;以及用于运行模型的NVIDIA Jetson Thor人形机器人计算机。开发者可以根据具体需求来访问和使用全部平台或其中的任何部分。

通过新的NVIDIA人形机器人开发者计划,开发者可以提前获取这些新产品以及最新版本的NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor和Project GR00T通用人形机器人基础模型。

首批加入早期访问计划的企业有1x、波士顿动力公司、字节跳动ByteDance Research、Field AI、Figure、傅利叶、银河通用、逐际动力、Mentee、Neura Robotics、星动纪元和Skild AI。

波士顿动力公司首席技术官Aaron Saunders表示:“波士顿动力公司与 NVIDIA 在推动机器人技术发展方面有着悠久的密切合作历史。我们非常高兴看到这项工作的成果正在加速整个行业的发展。而要想获得最先进的技术,早期访问计划无疑是最佳的途径。”

相关推荐

高中生又来卷我们了!手搓 Android 浏览器,可高度定制+脚本支持

回想一下,你曾经的暑假,是怎么度过的?可能是无尽的娱乐时光,或者是懒洋洋的休息日。然而,对于这位Gitee上的高中生来说,他选择在这个暑假里独立开发一款Android浏览器——Vie浏览器,...

网页加载CAD图纸的两个方案对比说明(网页浏览编辑DWG)

一.说明梦想控件提供两种技术在网页中加载CAD图纸,一个是OCX技术方案,另一个是HTML5技术方案,它们各有优缺点,用户需根据实际情况进行选择,下边分别说明一下。1、ocx技术方案(1)OCX技术是...

前后端分离的开源在线考试系统调试实战

开篇在我们的教育生涯中,或多或少的都接触过在线考试系统。例如大学里最常见的各种软件考试,上机考试等,那么有没有开源的这样的系统呢?当然是有了,今天就来调试个开源的在线考试系统。本文重点是调试,因为很多...

网友:小松鼠长大了!UC浏览器推出18周年专版logo引热议

近日,互联网厂商logo更新再次引发热议。作为国内手机浏览器的代表性厂商,UC浏览器的标志性logo小松鼠悄然发生了变化,在网友中引发了关注和讨论。依照UC微博官方账号的说法,这个全新的形象是UC18...

超多案例!谷歌AI模型Nano Banana的5个实用+趣味玩法

再不用这个AI修图神器,你的同行明天就把订单抢光了。谷歌刚放出的NanoBanana,能在一张照片里把背景、姿势、衣服一次换完,脸还是那张脸。实测把地铁照改成海边大片,只用一句话,三秒出图,不用PS来...

2025年最佳Windows数据恢复软件解决方案前5名

您是否正在寻找互联网上排名前五的WindowsPC最佳数据恢复软件解决方案?其实,网上有很多工具可以恢复已删除的文件。但并非所有应用程序都值得使用。值得信赖的文件恢复工具可以帮助您快速检索丢失、删...

电脑数据恢复软件推荐:10个顶级数据恢复软件分享

在数字化的工作与生活中,电脑文件误删除的情况时有发生,这不仅会引发我们的焦虑情绪,更可能导致重要数据的丢失。不过,幸运的是,借助正确的数据恢复软件,我们仍有机会找回那些被误删的文件。10个顶级数据恢复...

更懂国内APP的开源智能体!感知定位推理中文能力全面提升

更懂国内APP的开源智能体!感知定位推理中文能力全面提升“帮我点外卖,别点到广告位。”一句话,说出了多少人对手机自动化的真实期待。浙大和美团刚扔出来的开源项目UItron,就是冲着这句吐槽来的——它真...

美光首家推出采用EUV技术的1γ DDR5 DRAM芯片

美光科技宣布已开始向部分生态系统合作伙伴和客户出货1γ(1-gamma)16GbitDDR5DRAM芯片。美光声称,它是第一个采用1-gamma(1γ)节点的公司,该节点指的是DRAM工艺技术的第...

DDR4的PCB设计及仿真_ddr pcb

以下文章来源于鼎阳硬件智库,作者王彦武DDR4关键技术和方法分析1.1DDR4与DDR3不同之处相对于DDR3,DDR4首先在外表上就有一些变化,比如DDR4将内存下部设计为中间稍微突出,边缘变...

DDR4和DDR5内存的性能差距有哪些?

DDR4和DDR5内存的性能差距主要体现在带宽、延迟、能效及未来扩展性上,以下是关键差异的总结及选择建议:1.带宽与频率DDR4:主流频率为2133MHz–3600MHz,带宽约25.6–30.2...

DDR5内存一根和两根的区别,建议收藏观看。

大家好,我是海韵,DDR5内存条,单条和双条有什么区别,如何选择,DDR5单条和双条内存在性能上存在差距,单条内存保持在64个通道,但内部升级为32乘以2,虽然出口速度相同,但内部运行略有提升,...

Kingston FURY叛逆者DDR5 RGB CUDIMM内存评测 强势突破9000MT/s!

【ZOL中关村在线原创评测】当8000MT/s从当年的液氮超频艰难达成,到如今XMP轻松开启,DDR5内存频率的极限探索似乎看不到终点。在早先,我们曾为大家带来KingstonFURY品牌的叛逆者D...

SK海力士将在年内推出1bnm 32Gb DDR5内存颗粒

IT之家4月25日消息,据韩媒NEWSIS报道,SK海力士在今日的2024年一季度财报电话会议上表示将在年内推出1bnm32GbDDR5内存颗粒。32Gb颗粒意味着消费级的...

DRAM史上最大代际倒挂继续:三星将延长DDR4生产期限至2026年

IT之家8月6日消息,韩媒TheElec今天(8月6日)发布博文,报道称三星决定延长DDR41zDRAM的生产期限至2026年,一方面在DRAM史上最大代际倒挂中进...

取消回复欢迎 发表评论: