将一个自立机器人安排到一个新的环境多是一个困难的命题。您若何能力确信机器人的感知能力充足强盛，因而可以安全地按计划执行任务？
国产分拣机器人定制Trimble正在入手下手订定筹划，将BostonDynamics的Spot安排正在各类室内环境和施工环境中时，面临着这一挑衅。Trimble需要将机械进修模子调整到切确的室内环境，以便Spot可以正在这一些差别的室内环境中自立操纵。
Trimble新兴手艺副总裁AviadAlmagor暗示：“当我们将装备数据收罗传感器和现场掌握软件的Spot布置到室内环境时，我们需求开辟一个经济高效且靠得住的事情步骤来培训基于ML的感知模子。”。
“这一计谋的中心是阐发分解环境的才能。运用NVIDIA上的NVIDIAOmniverseSim，我们能够由TrimbleSketchUp等CAD东西无缝导入分歧的环境。然后生成完整符号的空中实在分解数据就成了一个简朴的演习。”
图1在三维建模应用程序TrimbleSketchUp中检察办公楼
为了确保模子可靠地事情，处置机器人手艺和自动化应用程序的开发人员需求包罗方针环境一切资产的各类数据集。关于室内，列表MIGht包孕隔墙、楼梯、门、窗和家具等资产。
虽然这一些数据集能够由真正的摄影师和人类贴标员手动构建，但这类办法须要大批的预先计划和高本钱，而且通常在项目启动时封闭大门。运用分解数据，您能够引诱您的ML培训并马上起头。
构建此数据集时，能够挑选包罗分段数据、深度数据或边境框。这一些贴有完美标签的空中实情数据能够翻开很多探索之门。有些工具，如三维边境框，能够很容易地得到综合，而他们是出了名的难以手动标签。
正在本文中，我们概述了运用模仿生成的分解数据构建培训工作流所采用的步调。只管此工作流包罗庞大的模仿和ML手艺，但完成此项目所需的步调很简单：
将环境由CAD导入NVIDIAOmniverse平台。
运用NVIDIAOmniverseSim卡构建分解数据集。
利用NVIDIATAOtoolkit对ML模子开展培训。
将环境由TrimbleSketchUp导入NVIDIAOmniverse
正在这个项目中，TrimbleSketchUp供应了环境，这是一个适用于设计修建的3D建模应用程序。要导入资源，NVIDIAOmniverse撑持场景描写的USD花样。SketchUp模子转换为USD，并利用Omniverse连接器之一导入。
为确保准确导入一切资产，您必需运用NVIDIAISAACSim卡或Omniverse中的创立或检察应用程序查抄环境。正在某些情况下，此进程大概须要几回迭代，直到环境正在Omniverse中获得合意的暗示。
全自动分拣机器人国内外现状图2将SketchUp场景导入Omniverse的历程
图3导入到Omniverse和Trimble的SketchUp中的原始场景后，统一办公楼的并排视图
利用NVIDIAISAACSim构建分解数据集
分解数据是计算机视觉运用中练习ML模子的主要东西，但收集和符号实在数据也许耗时且本钱奋发。别的，收集角落案例的实在练习数据有时也许很辣手，乃至是不太也许的。比方，设想一下，练习一辆自动驾驶汽车准确辨认和反映，以确保穿过忙碌街道的行人的平安。正在交通忙碌的人行横道上照相是莽撞和危险的。
因为Trimble计划在分歧的环境中为分歧的用例布置自立机器人，他们面临着一个锻炼数据困难：如安在公道的工夫范围内以公道的本钱为这一些模子安全地取得准确的锻炼数据集？
分拣机器人的核心资源NVIDIAISAACSim内置的分解数据生成功用直接办理了这一挑衅。生成分解数据集的环节要求是为正正在布置的ML模子撑持准确的传感器集。如后一示例中所述，NVIDIAISAACSim撑持利用鸿沟框、深度和支解渲染图象，这一些关于帮忙机器人感知周围环境都很主要。NVIDIAISAACSim还撑持激光雷达和超声波传感器等其他传感器，正在某些机器人运用中可能会很有效。
图4NVIDIAISAACSim中生成的分解数据，表现RGB、分段和鸿沟框
自动分拣机器人翻译生成分解数据的另一个超等本领是行业随机化。域随机化转变界说摹拟场景的参数，比方场景中材质的照明、色彩和纹理。其主要目的之一是经由过程正在仿真中将神经网络露出于各种域参数来加强ML模子的练习。这有利于模子正在碰到实在场景时很好地归纳综合。事实上，这类手艺有利于让模子了解该当疏忽什么。
NVIDIAISAACSim中的可随机化参数：
Color
Movement
Scale
Light
Texture
Material
Mesh
Visibility
药品分拣机器人Rotation
图5NVIDIAISAACSim中的域随机化场景
运用NVIDIATAO工具包培训ML模子
图6显现了预锻炼模子和专有数据作为输入，定制模子作为输出。
图6TAO工具包的功效框图
图7表现，模拟器能够由ROS和Python两方面举行节制。模拟器的输出包罗数字孪生和合成数据，可适用于练习感知模子。
图7NVIDIA上NVIDIAOmniverseSim的功用框图
生成数据集后，将其准确格式化以利用NVIDIATAO工具包，能够大大降低培训模子的工夫和用度，与此同时确保模子的准确性和性能。该工具包支撑支解、分类和工具检验模子。
NVIDIAISAACSim中综合生成的数据集以KITTI花样输出，以便取TAO工具包无缝利用。有关在NVIDIAISAACSim卡中输出数据以开展培训的更多信息，请参阅利用TLT开展离线培训。
取实在数据相比，利用分解数据集时，也许须要迭代数据集以取得更好的成果。图8表现了利用分解数据集开展练习的迭代历程。
智能分拣机器人生产厂家图8迭代锻炼以进步模子性能
归纳综合
Trimble面临着一个极度遍及的挑衅，即在一个经济高效的事情步骤中为自立机器人的ML模子猎取锻炼数据。这一挑衅的解决方案是使用NVIDIAOmniverse中连接器的功效，将CAD数据高效导入USD。然后，数据能够被带入NVIDIAISAACSim卡。
正在模拟器中，ISAACSim壮大的分解数据功能使生成所需数据集变得简朴。您能够供应分解数据，以实现更高效的培训工作流和更宁静的自立机器人操纵。
NylaWorker是NVIDIA的解决方案架构师，专注于嵌入式设备的摹拟和深入进修。她在机械人和主动车辆的深度进修边沿运用层面具有雄厚的经历，并为嵌入式设备开发了加快推理管道。
GerardAndrews是专注于机器人开辟社区的初级产物营销司理。正在插足NVIDIA之前，Gerard正在Cadence担当产物营销总监，卖力答应处理器IP的产物计划、营销和业务开辟。他具有佐治亚理工学院电子工程硕士学位和南边卫理公会大学电子工程学士学位。
审核
药片自动分拣机器人自动分拣机器人多少钱分拣机器人定制
