今天下午(11月9日),被粉丝们昵称为“老黄”的黄仁勋又一次站在了那个熟悉的厨房召开了GTC大会,虽然这个老黄依然看不清是真是假,但它的背景用动画明明白白的告诉你,一切都是虚拟的。
接近两小时的发布会,全程高能,覆盖多个行业和多项技术,而英伟达对于元宇宙当前阶段的理解,拔高到了各行各业都需要的“平行虚拟世界”。
NVIDIA 首席执行官黄仁勋展示了Project Maxine如何利用Omniverse Avatar平台将计算机视觉、Riva语音AI以及虚拟形象动画和图形连接到一个实时对话的AI机器人——“Toy Jensen Omniverse Avatar”上。
▲根据黄仁勋形象做的数字人,本质是形象化的AI
除了“模拟”一个真实的世界外,英伟达为了帮助开发人员使用Omniverse创建就广泛主题进行对话并理解自然语义的交互式角色,进一步推出了Omniverse Avatar。
除了实时对话AI以外,这项技术也能用于餐厅等场景,虚拟AI角色能够主动“看到”顾客,并与之进行交互。
▲Project Tokkio,这是一个位于自助式餐厅服务亭中的虚拟服务员,登上汽车之后,黄仁勋称它为Maxine
▲可同时讲多门外语的虚拟形象
他还宣布NVIDIA将建立一个数字孪生来模拟和预测气候变化。
该数字孪生名为Earth Two,简称E-2。
人类正从预报一段时间内的天气状况进入可以预测一段时期内气候的变化。
这是一个巨大的飞跃。
地球是否在变暖以及暖到何种程度将有一个清晰的图景展示。
“你会看到一个永恒的主题——Omniverse如何被用来模拟仓库、工厂、物理和生物系统、5G边缘、机器人、自动驾驶汽车,甚至化身数字孪生,”老黄这么说道。
▲用于训练AI的Omniverse Replicator合成数据生成引擎
用于探索“元宇宙”的Omniverse是英伟达开发的实时仿真和协作平台,“Omniverse与游戏引擎大不相同,其是面向数据中心规模设计的,有朝一日有望能达到全球数据规模。
Omniverse的门户是USD(Universal Scene Description,通用场景描述),本质上是一个数字虫洞。将人和计算机连接到Omniverse,并将一个Omniverse世界连接到另一个世界,USD之于Omniverse就像HTML(网页)之于网站。
▲NVIDIA Modulus通过建立现实世界的孪生世界,在数字世界建模
而Omniverse这项技术则贯穿了整个发布会,根据智驾君的理解,在当前阶段虽然还不能完全复制地球,但在可见的应用场景都可以模拟。
比如真实的道路,随机出现的行人,甚至是信号塔散发的信号覆盖,台风的行程和未来几年的气候预测,它包含了已知的所有物理特性,具有强大的包容性和计算能力与实时渲染能力。
▲NVIDIA Modulus用于构建和训练物理学机器学习模型,这些模型可以学习并充分遵守物理学法则。
而英伟达在元宇宙中的角色现在也定了,就像万物的造物主,成为开天辟地的数字化“盘古”。
在此次GTC上,在描述针对众多领域的愿景,包括加速计算、数据中心架构、AI、机器人、Omniverse Avatars和数字孪生等,它包含了数以万亿美元的增长机会。
而在资本市场,从10月25日Facebook宣布更名Meta以来,英伟达股价累计上涨逾3成,增加的1900亿美元市值已经接近英特尔整个公司的身家。
自动驾驶的数据门槛甚至不需要一台车
现阶段,一家自动驾驶公司如何彰显实力,短短XX个月的时间,我们的自动驾驶实测路段超过XX万公里。
没错,在数据为王的时代,大量的数据就是技术的门槛,而技术的门槛需要资金的门槛作基础。
虽然很少有厂家公布测试车辆的成本,但根据百度宣称的业界成本48万元推算,大多数厂家测试车辆的成本在50万-100之间,这还要额外计算安全员和燃料维修成本。
即使是自动驾驶这样的热门赛道,能进行大规模路测的企业也不过10家。
而英伟达却在今天抛出多项技术,让你可以在虚拟的世界中进行自动驾驶测试,并且在一开始老黄就对智能驾驶汽车做出了定义,这是一个机器人,这样的表述与百度的看法不谋而合。
▲面向通用机器人、用于Isaac Sim的Replicator合成数据生成引擎:Omniverse Replicator
首先NVIDIA开发了两款Replicator合成数据生成引擎:面向通用机器人、用于Isaac Sim的Omniverse Replicator,以及面向自动驾驶汽车、用于DRIVE Sim的Omniverse Replicator。
这个引擎用于训练深度神经网络的合成数据生成,也就是说你的车在虚拟的世界中跑,最终可以出结果。
除了引擎更重要的是软硬件兼备,并且在虚拟世界中可以用的全套解决方案,这也就是整个大会所表达的观点,数字孪生世界的价值。
▲自动驾驶测试和开发平台Hyperion 8
NVIDIA DRIVE是NVIDIA的自动驾驶汽车全栈开放式平台,而Hyperion 8是NVIDIA最新的完整硬件和软件架构。
其传感器套件包括12个摄像头、9个雷达、12个超声波和一个前置激光雷达,所有处理均通过两个NVIDIA Orin 系统级芯片进行。
黄仁勋详细介绍了Hyperion内置的几项新技术,包括用于DRIVE Sim的Omniverse Replicator。
在介绍中,英伟达的虚拟数字世界中加入了自动驾驶高精地图的数字化的供应商DEEPMAP,让整个虚拟世界与真实世界一样,预测同时针对激光雷达和毫米波雷达的采集仿真,英伟达还建立了不同的材质库,让采集的数据与真实的一样。
而测试流程也相当简单,通过NVIDIA AI 训练模型,在Omniverse通过DRIVE Sim进行模拟和合成数据,最后在Orin芯片通过DRIVE AV构建试试机器人工作流,也就是让车辆自主做出决策。
而测试量的进展将取决于算力的支持。
比如,NVIDIA NeMo Megatron,这套商用的计算平台以Megatron项目为基础,Megatron是一个由英伟达研究人员领导的开源项目,旨在大规模研究大型转换器语言模型的高效训练。
该框架使用数据处理库自动处理LLM复杂训练,可以获取、管理、组织和清理数据。它使用先进的数据、张量和管道并行化技术,使大型语言模型的训练能够高效地分布在数千个GPU上。
NVIDIA Triton推理服务器中的多GPU、多节点功能使LLM推理负载可以实时、跨多个GPU和节点进行扩展。
使用Triton推理服务器,Megatron 530B可以在两个NVIDIA DGX系统上运行,将CPU服务器上的处理时间从一分钟多缩短到0.5秒,从而实现在应用程序上快速、实时地部署大型语言模型。
而未来自动驾驶公司如果采取这种方式,无论是效率还是资金都将大幅度提高,数据为王的时代,甚至是数据壁垒都将快速的被替代。
效果如何?
黄仁勋表示,所有移动之物都将实现完全或近乎完全的自主化。
“到2024年,绝大多数新电动车都将具备真正的自动驾驶功能。”
▲世界模型本质是汽车的思维
口说无凭,英伟达还展示了用全球刚刚上市没两年的奔驰S级作为样本,稍加改装之后,在英伟达附近的道路上进行了训练后的自动驾驶的演示。
我们能看到从容的应对并线、人行横道、交叉路口、环岛、立交桥等场景,并且顺便提到了英伟达在数字座舱的建树:Nvidia Drive Concierge 和 Drive Chauffeur。
Nvidia Drive Concierge 是一个AI助理,它结合了语音辅助、驾驶员监控和自动停车技术。
然而,最酷的是它与 Nvidia Drive AV 自动驾驶技术的集成,提供按需代客泊车。
所以,当你说寻找停车位,它会为你自动停车。
Drive Concierge 可以执行从简单到复杂的自然语音命令,比如打电话预订,并且根据每个乘客的声音进行个性化设置,为每个乘客提供自己的虚拟助手。
也就是说凭借强大的软硬件,英伟达自动驾驶、智能网联都可以提供完整的解决方案,而更可怕的是出行行业只是英伟达元宇宙中一个微小的组成部分。
▲英伟达的数字人在上车后称之为Maxine,人车交互正日益情感化
而在会议的最后,苏州做无人小巴轻舟智航宣布将在其Driven-by-QCraft下一代硬件方案中率先使用NVIDIA DRIVE Orin 方案,让L4级自动驾驶的计算平台迈向量产车规级,这也意味着轻舟智航成为首个使用NVIDIA DRIVE Orin方案的L4级自动驾驶通用方案公司。
写在最后
元宇宙终极的构想是缩短时间和空间的隔阂,人活在固定的空间就可以与世界产生联系,在那时,传统的各行各业都将面临巨大的变革,比如影响房价的地理位置将变得不再重要,五颜六色的衣服将变得没有价值,奢侈品牌将变成虚拟收藏品如同NTF,出行的需求将大大减少。
但这一切需要6G的网络建设,消费级好用的VR眼镜,甚至是马斯克正在研发的脑机接口(在你耳朵后面做一个类似USB的接口,输出你的想法),乐观估计还有10年。
而在此之前,行业需要循序渐渐的发展,不可能一撮而就,而英伟达今天告诉我们一个重要的事情,元宇宙在当下已经极为可用,并且可以展开大规模的商业化运作。
x
-
全球最大自动驾驶之城是怎么炼成的? 2024-03-04 10:24
-
15万有骁龙8295,16万配激光雷达,零跑C10发起“配置战” 2024-03-03 14:00
-
大众与小鹏合作首款车型曝光:纯电中型SUV,2026年上市 2024-02-29 15:05
-
英特尔宣布成立全新独立运营的FPGA公司——Altera 2024-03-01 12:47
-
哪吒汽车 All In AI,携手360集团推进大模型产品NETA GPT 上车 2024-03-01 17:21
-
15万有骁龙8295,16万配激光雷达,零跑C10发起“配置战” 2024-03-03 14:00