当前位置:CGXi协作机器人 > 协作机器人 >
药品分拣机器人厂商,如何用自己的手来远程控制机器人
时间:2022-10-30 来源:未知 点击: 160次
药品分拣机器人厂家价格智能分拣机器人小黄人价格

请注意,本文所表现的信息、用处及使用完全是Video-Touch客座作者的观念。

您可能看过一些科幻影戏,影戏中的人可以用身体行动来掌握机器人。现在,借助当代计算机视觉和机器人方式,我们可以把这类体验酿成实际,并且和影戏一样出色巧妙。

受新冠病毒危害,正在如斯艰苦的期间,为了让长途掌握和长途操纵变得切实可以用,我们开启了VideoTouch项目。

Video-Touch是第一个人机交互体系。它答应多名用户,正在天下任何地方经由过程视频通话运用(比方GoogleMeet、Zoom、Skype)对其举行掌握。

我们思索过,是不是有也许只用本身的手来长途掌握机器人,而没有借助手套、操纵杆等任何分外的设备,与此同时没有发生显明的延迟。因而,我们决意运用计算机视觉来实时辨认举措,并实时传递给机器人。正在MediaPipe的辅助下,我们将其变为了实际。

操作系统大抵如下:

1.根据视频会议利用,正在用户设备上获得网络摄像头视频,然后将其发送至机器人计算机;

2.用户的网络摄像头视频串流经由过程OBS假造摄像头东西被捕捉到机器人的计算机显示器上;

3.辨认模块正在MediaPipe的协助下读取用户的动作和手势,并经由过程ZeroMQ发送给下一个模块;

4.正在举措捕获数据的基础上,机器臂及其抓手由Python操纵。

由计划中能够清楚地看得出,用户正在操纵机械人时只需稳固的互联网毗邻和一个视频会议利用。一切的如屏幕捕获、手部追踪、手势辨认和机械人操纵等测算,都能够正在Wi-Fi取机械人毗邻的独自设备上开展。接下来,我们将对流水线的各个环节开展具体阐明。

快递分拣机器人的实际意义并联分拣机器人发展趋势

用户能够利用任何一台能够实现跨设备传输视频的软件。正在实验中,我们利用的是视频会议的桌面运用。用户正在其设备上呼唤一台显示器取机器人相连的计算机。如许,机器人就能够看到来源于用户网络摄像头的视频串流。

如今,我们需求某种机制来把用户的视频由视频会议通报到辨认模块。我们利用的是OpenBroadcasterSoftware及其假造摄像头东西来捕获翻开视频会议的窗口。如许我们就获得了一个假造摄像头,它如今有来源于用户网络摄像头的帧及其共同的设备索引,能够正在辨认模块中进一步利用。

辨认模块

辨认模块的作用是捕获用户的举措并将其传递给机器人节制模块。MediaPipe会在此发挥作用。我们为捕获手部举措寻找了最有用、最正确的计算机视觉软件。我们发现了很多令人兴奋的解决方案,但事实证明,关于如斯具有挑战性的义务,MediaPipe是独一合适的东西。

食品分拣机器人排名

我们对MediaPipe手部追踪模块进行了两项要害点窜:加了手势辨认计算器并集成了ZeroMQ动静传送机制。

两项要害修正

正在前次发表文章的时间,我们有两个版本的手势辨认实现。第一个版本如下图3所示,所有的测算均正在手部姿式辨认测算器内举行。测算器将特点点作为输入举行缩放,也就是说,这一些特点点按照手的边境框巨细举行标准化。接下来,它会辨认4种手势:“挪动”、“倾斜”、“抓取”和“无手势”(论文中的“手指间隔”手势是实验性内容,没有包孕正在终极演示版中),并输出手势类称号。只管这个版本非常稳健有用,但它只是基于简朴的启发式划定规矩,如:“若是此特点点[i].x《特点点[j].x,那末它是一个‘挪动’手势”,并且关于手部扭转这种现实生活中的状况,此版本没法辨认。

发表文章

为了减轻泛化不良的题目,我们施行了第二个版本。我们正在手动收集和加标签的1000个要害点的数据集上训练了来源于scikit-learn的梯度提拔分类器:“挪动”、“倾斜”和“抓取”类各有200个,而“无手势”类有400个。顺便说一下,现在能够经过近来公布的JestureAISDKrepo(注:我们团队一些成员的另一个项目)轻松猎取此类数据集。

JestureAISDK

我们运用缩放的特点点、闭节间的角度和成对的特点点间隔作为模子的输入,来展望手势类。接下来,我们实验只通报缩放的特点点,而没有通报任何角度和间隔,结果在200个闭键点的当地考证集上获得了91%的相似多类准确度。闭于这个版本的手势分类器,也有一点是我们没法直接在C++中运转scikit-learn模子,所以我们用Python开展实现,作为机器人掌握模块的一部分。

宣布后,我们立刻推出了一个正在Keras中锻炼的齐衔接神经网络,它采纳的数据集取梯度提拔模子雷同,而获得的成果更好,准确度到达93%。我们将这个模子转换为TensorFlowLite花样,如今我们能够正在手部姿态辨认计算器中直接运转手势辨认ML模子。

获得当前手部位置和当前手势类后,我们须要将其传递给机器人操纵模块。开展这一步时,我们借助了高性能的异步动静功用库ZeroMQ。为了正在C++中实现这一点,我们使用了libzmq库和cppzmq标头。行使恳求-复兴计划:辨认模块C++代码中的REP和机器人操纵模块Python代码中的REQ。

libzmq

cppzmq

恳求-复兴

是以,借助我们建改正的手部追踪模块,此刻可以将活动捕获信息实时传递给机器人。

机器人操纵模块

机器人节制模块是一个Python剧本,它将手部特点点和手势类作为输入,并输出机器人挪动敕令。运转该剧本的较量争论机经过Wi-Fi取机器人毗连。我们的实验中使用了搭载NvidiaGTX1050TiGPU的MSI笔记本电脑。与此同时实验正在IntelCorei7CPU上运转全部体系,因为有高度优化的MediaPipe较量争论图实现,该运转也是实时的,延迟能够忽略不计。

正在现阶段的流水线中,我们运用了UniversalRobotics的6DoFUR10机器人。因为运用的抓手是双指的,我们不需要每一个特点点取机器人手指环节点的完备映照,只需要手中央的位置。借助此中央坐标和python-urx软件包,我们而今可以正在所需的方位和方向上转变机器人的速度:正在每一帧上,我们较量争论当前手中央坐标取前一帧坐标之差,进而得出速度变革矢量或角度。末了,此机制看起来取人们用操纵杆节制机器人的体式格局很是类似。

python-urx

高密度触觉传感器的触觉感知

机灵的支配规定具有较高的空间分辨率和对物体和环境的高保真触觉感知。最新的传感器数组十分合适机器人支配,由于它们能够很容易地挂接到任何机器人末尾执行器上,并顺应任何接触面。

的分拣机器人

源公布文章

Video-Touch嵌入了一种高密度的触觉传感器数组。它们安装在双指机器人抓手中。每一个指尖上皆挂接一个传感器数组。单个电极数组能够感到5.8平方厘米的帧面积,每帧分辨率为100点。感到频次即是120赫兹。每一个点的力检验范畴为1至9牛顿。因而,机器人以200点的分辨率检验施加在机器人手指抓取的固体或柔性物体上的压力。

快递分拣机器人视频大全

由传感器数组处收集的数据经由处置后,以静态手指接触映照图的情势向用户显现。压力传感器数组让用户可以感知被抓物体的顺应性、硬度、粗糙度、外形、标的目的等物理特征。

图8:多用户机器臂操纵功效。用户可以正在惯例的视频通话过程中施行COVID-19检验[源视频]

尾注

如此一来,借助MediaPipe和机器人,我们建立了一个有用的多用户机器人长途操作体系。正在将来,长途操作体系的潜正在用处将包罗医疗检验,和正在难以进入的环境中举行的实验。该体系的多用户功效处理了有用长途合作的实际问题,答应正在多人小组中举行需求手动长途掌握的项目事情。

我们流水线的另一个上风特点是,人们能够应用任何带有摄像头的设备,比方手机,来节制机器人。除机器臂,人们还能够操纵其他如,边沿设备、移动机器人或无人机等硬件设备。自然,现阶段的解决方案具有肯定的局限性:延迟时间、z坐标的应用,和手势范例的便利性都有改善的空间。我们非常希望试用MediaPipe团队的更新,并希望着实验新范例的抓手、双手节制,乃至是满身节制。

期望这篇文章对您和您的事情有所帮忙。珍重身体,保持编码。极度感谢您的存眷!

分拣机器人可以识别大小和种类吗快递自动分拣机器人原理快递分拣机器人算法
Copyright © 2002-2030 苏州昊瓦智能装备科技有限公司鄂ICP备2023010222号-2 苏州昊瓦智能网站地图sitemap.xml tag列表