电话:+86-15020217966
可以玩时时彩的网站_信誉老站_欢迎您

+86-15020217966

基于立体视觉的水果采摘机器人系统调研报告资

添加时间:2020-02-18  浏览次数:

更多

  基于立体视觉的生果采摘呆板人体例调研申报原料_中职中专_职业训诫_训诫专区。基于立体视觉的生果采摘呆板人体例调研申报原料

  基于立体视觉的生果采摘呆板人体例调研申报 摘要: 基于立体视觉扶植了生果采摘呆板人体例。正在图像空间欺骗 Hough 变换检测出果实目 标,并欺骗随机采样倾向上平均散布多个点的三维坐标音讯重筑果实球模子,进而得到倾向质 心的空间位子坐标;通过最幼二乘法探求了采摘呆板人手眼标定;剖释了采摘呆板人的轨迹 谋划。 尝试结果评释,打算的自愿采摘体例能够有用地息灭遮挡以及立体视觉般配失效等成分 的影响,倾向定位差错幼于 8mm,明显地进步了抓取的精度和牢靠性。 要害词: 采摘呆板人 立体视觉 手眼标定 识别 Research Report of fruit picking robot system based on stereo vision Abstract: A fruit picking robot system based on stereo vision is established. In the image space by using Hough transform to detect target fruit, and the random sampling of multiple point reconstruction of 3D coordinate information fruit ball model are uniformly distributed target, and then obtain the spatial position coordinates of the target centroid; by the least squares method of picking robot hand eye calibration; analysis of the picking robot trajectory planning. The experimental results show that the design of the automatic picking system can effectively eliminate occlusion and the influence of the stereo vision matching failure and other factors, target location error is less than 8mm, significantly improve the accuracy and reliability of the crawl. Key words: picking robot;stereo vision;hand eye calibration;identification 1 调研配景 果蔬采摘功课不断是个亟待管理的题目 。德国、荷兰和日本等兴隆国度探求拓荒了多 品种型的果蔬自愿采摘呆板人,如苹果、 黄瓜和樱桃等自愿功劳呆板人 采摘告成率等方面还存正在尚待管理的题目。 国内果蔬采摘呆板人的探求劳动也较多 ,但公多部分正在采摘呆板人的视觉体例、 机器手 和末梢实践器等简单的性能模块,此中视觉体例的探求公多是正在单果无遮挡的理思条款下进 行的。本文基于立体视觉修筑一个生果采摘呆板人体例,即欺骗视觉传感器获取处境图像,计 算出果实倾向有关于呆板人坐标系的位子,然后驱动呆板人达到倾向位子并抓取。 中心探求复 杂处境下果实倾向的牢靠识别定位题目,并剖释体例的手眼标定与轨迹谋划等。 [5] [2~4] [1] ,但正在果实识别率、 2 要害本领 2.1 果实识别定位 果实倾向的辨识和定位是果实功劳呆板人的首要职分 ,是影响果实抓取告成率的要害因 素。采摘经过中,呆板人末梢实践器的劳动位子不但由果实倾向位子确定,也受采摘办法的影 响。目前常见的果蔬采摘办法有手指抓取采摘 、纯气吸采摘 和气吸与手指相贯串采摘 [6] [2] [4] 等。本文采用了先让电动夹持器夹持住果实,再贯串拧断果柄的办法来完毕采摘,这就央求末 端实践器的劳动核心与果本色心基础重合,是以,果实定位须要确定果实的质心位子。 正在双目立体视觉本领中,存正在着多种成分影响果实定位的精度和牢靠性。因为处境光照、 果实形式等弗成控成分,使得立体视觉般配经过中不免会闪现个别随机散布的无效般配点,进 而无法得到深度音讯而导致采摘失效。行使的立体视觉模块将总共无法般配的点的深度值均 设为 0.376 926m。 果实弗成避免地会存正在被叶片等物体遮挡的情形,借使欺骗倾向果实的形心来举办定位, 那么该形心正在图像平面上就有可以落正在遮挡物上。结果立体视觉般配后取得的空间位子便是 遮挡物的位子而不是真正的采摘倾向的空间位子,从而酿成抓取可以腐败。 尽管正在无遮挡等相 对理思条款下立体般配经过不会闪现前述情形,但因为图像噪声、 图像治理差错以及标定差错 等来历,立体音讯的精度也同样难以确保,因而,借使纯洁仰仗形心等少数点来确定果实空间 位子则可以存正在较大差错。 果实中球形类果实约占 70%,为了降服上述立体视觉本领中存正在的几个题目,将欺骗倾向 上多个点的三维位子音讯重筑出果实球模子,然后基于最幼二乘法企图果本色心位子。 果实球模子为 (x-a) +(y-b) +(z-c) =R 2 2 2 2 (1) 此中(a,b,c)为球心正在相机坐标系中的坐标。式(1)也能够写成 2ax+2by+2cz+R2-(a +b +c )=x +y +z 关于 n 个点,式(2)可用矩阵的形势表达,即 2 2 2 2 2 2 (2) (3) 式(3)能够简写成 Am=B 欺骗最幼二乘法,能够解得 ( 4) ( 5) 从而得到球心坐标。 分身算法的精度和恶果,欺骗了倾向上 8 个点举办倾向位子的求解。整个手腕是:先以圆 形来近似刻画果实形式,由 Hough 变换能够取得各个果实正在图像平面上的圆心坐标(i,j)和 半径R,这种手腕企图纯洁,果实形心识别确实;然后可轻易地取得该果实圆的表接矩形,该矩 形左上点的坐标为(xmin,ymin),右下点的坐标为(xmax,ymax);结果将正在 此矩形区域内随机寻得一个点(x,y),坐标为 (6) 此中,rand()是C++轨范函数库供应一个天生平均散布随机数的函数,返回 0~32 767 间 平均散布的伪随机整数,%表现求余数。如许能够避免这些点过于会合,以进步最幼二乘法的 精度。当然,这些点(x,y)还必需正在果实倾向上,而不是遮挡物上,同时这些点处的立体般配 应当适合有用性磨练。如许直到找到 8 个点为止,它们的三维坐标将用来拟合出一个球,进而 求出倾向的质心位子。全数果实识别标准流程如图 1 所示。 图 1 果实识别定位流程图 正在尝试室中,利用 3 个橙子模子举办尝试,如图 2 所示。 用 R—B 对原图举办治理后并二值 化;然后对图像举办机合元素巨细为 3×3 的侵蚀与膨胀,结果如图 2b 所示; 对图像基于 Hough 变换检测圆,取得确实的果实形心,把检测出的果实圆轮廓叠加到图 2b 上后取得图 2c。 同时, 立体视觉模块供应的视差图如图 2d 所示,若已知图像上的点(i,j),可求出其正在相机坐标系中 对应的三维坐标(x,y,z)。 由图 2c 能够看出,左边的果实被叶片遮挡,其正在图像平面上的形心位于叶子上,利用平常 的基于形心特性等般配手腕将无法取得确实的果实空间位子。运用提出的手腕识别出倾向位 置,通过呆板人示教数据,贯串下面刻画的坐标变换衡量出深度音讯, 结果如表 1 所示。 可见, 该手腕也许较为确实地得到倾向果实的质心位子,有用地息灭了遮挡以及般配失效等对抓取 告成率的影响,进步了抓取的精度和牢靠性。 图 2 果实识别定位 (a)右眼校正图像 (b)二值图 (c)Hough 变换图 (d)深度图 表 1 果实定位尝试结果 2.2 手眼标定 手眼标定便是找到相机坐标系与呆板人坐标系之间的牵造相干 ,以便完毕果实倾向正在机 器人坐标系中的定位。 因为立体视觉模块能够给出果实正在相机坐标系下的三维坐标,则该体例标定简化为求解 相机坐标系与呆板人基座坐标之间的照射矩阵。通常,坐标系{A}和{B}之间的照射矩阵为 (7) 由式(7)又能够将呆板人与相机坐标之间照射矩阵表现为 (8) 体例标定中,通过将呆板人示教到相机坐标系的原点处,记实呆板人末梢运动间隔可取得某一 筑设下的平移矩阵为 关于回旋矩阵,先正在呆板人的劳动局限内随机采取 n 个倾向点,时时彩开户这些点正在相机坐标系中 的位子由立体视觉模块供应,正在呆板人坐标系中的坐标值能够衡量得到,整个手腕与前面测 量相机坐标系原点的手腕雷同。然后把这些点代入式(8),于是能够取得一个由 3n 个方程构 成的方程组。尝试中,采取了 10 个标定点,欺骗最幼二乘法企图出的相机坐标系有关于呆板 人的照射矩阵T为 运用上述标定手腕,通过将机器手的末梢示教到每个倾向点的位子而得到三维坐标的实测值, 倾向点正在呆板人坐标系中位子企图值与实测值之间的差值为标定差错。 由尝试结果可见 , 倾向点正在呆板人坐标系中位子坐标的各个分量上最大标定差错幼于 10mm。现实上,此差错是一归纳差错,它把立体视觉模块自己等合头的衡量差错也蕴涵此中。 按照本文的采摘计划,该精度也许知足自愿采摘职分的需求。当然,正在后续抓取探求中还将用 眼正在手上的视觉伺服支配本领进一步革新定位精度。 总之,该标定算法操作纯洁、 无需腾贵的 尝试装备,适合现场标定。 2.3 采摘呆板人的轨迹谋划 轨迹谋划便是按照功课职分央求,确定轨迹参数并及时企图和天生运动轨迹,它是果实收 获呆板人运动支配的按照。 关于果蔬功劳呆板人来说,通常只消求确保末梢实践器达到倾向点 时知足原则的位姿央求,而如空间避障等题目能够贯串果蔬的栽培形式调节,取得必定水准的 简化,如文件[2]就提出通过修剪果树枝条的主见使得果实容易识别和采摘。 针对打算的自愿采摘呆板人尝试体例,思量球形果实的采摘央求,这里给出了分段途径规 划完毕呆板人的运动支配,如图 5 所示。 按照果实成长的样子调节呆板人末梢实践器处于恰当 的采摘样子,尝试中当前采用了程度样子。 欺骗企图出的果实倾向G正在呆板人坐标系 xOy 平面 内的投影点G′,支配呆板人的 S 合节使得末梢实践器回旋到与x轴夹角为α 处 α =arctan(Y/X) (9) 图5 采摘呆板人轨迹谋划示贪图 呆板人将正在直线 OG′与呆板人 z 轴构成的平面内运动,从A点到B点通过点到点的圆弧 插补办法运动,运动经过中末梢样子依旧稳定。B 点的坐标为 (10) 由 B 点直线插补到果实 G 位子,以程度样子收拢果实,通过回旋末梢实践器使得果实与果梗分 离,实行一次采摘职分。正在全数轨迹谋划中,因为末梢实践器的样子依旧稳定,只是正在 G′Oz 平面内作平移运动,简化了呆板人求运动学逆解的经过。 同时, 相应的果实采摘区所需空间幼, 末梢实践器碰到滞碍的可以性也会减幼。 2.4 体例修筑 全数果实采摘呆板人尝试平台紧要由机器手、 视觉体例、 末梢实践器和企图机构成,如图 6 所示。 为了裁汰修筑体例的工夫,采用了日本安川 6 自正在度通用工业呆板人,正在企图机的支配下, 它既可实践点到点的运动,也可按合节角举办运动。视觉体例采用多摄像机视觉支配本领,应 用了 Bumbelee2 立体视觉模块,能够正在较阵势限内举办采摘倾向的寻找与定位,该模块也将用 于后续挪动式果蔬采摘呆板人的视觉导航。同时,还增加了眼正在手上(eye-in-hand)固定办法 的单目摄像机,它跟跟着机器手一齐运动,以完毕幼标准准确伺服定位,进一步进步采摘告成 率和牢靠性。末梢实践器采用了电动的二指夹持器,其抓取力与给定电流成比例,并能够依旧 夹持力恒定。 图6 采摘呆板人体例构成 3 调研总结 (1)修筑了一个果实采摘呆板人体例,正在尝试室条款下完毕了球形果实的自立采摘。 (2)行使果实球模子探求了多果有遮挡条款下的果实识别定位,有用地息灭了遮挡以及般配 失效等成分的影响,进步了抓取的精度和牢靠性。 (3) 利用了最幼二乘法举办了采摘呆板人手眼准确标定,各坐标分量的标定差错都正在 10mm 以内,也许知足果实抓取的须要。 (4) 采用分段途径手腕完毕了采摘呆板人的轨迹谋划,所需采摘空间较幼,能够减幼碰到枝叶 等滞碍的概率。 (5)农业呆板人是 21 世纪探求进步最速的呆板人。我国行为农业大国,生果和蔬菜正在人类的 生涯中据有很紧张的位子,种植面积和产量逐年进步。而农产物的采摘是一项劳动强度大、消 耗工夫长,拥有必定风险的功课,因而,对农业采摘呆板人的探求就显得绝顶紧急。因为农业机 器人功课对象是有机生物体,且差异地区有差异的天然天色、 地形、 地貌以及差异的种植造 度,因而其运用的难度绝顶之大。特别针对如许错综纷乱的表部处境和形式各异的功课对象, 尽管是正在统一种农业功课,其功课对象也是千差万别,如许一来,采用带视觉本领的农业采摘机 器人将不失为一个绝顶理思的遴选。 参考文件 [1] 宋 健 , 张 铁 中 , 徐 丽 明 , 等 . 果 蔬 采 摘 机 器 人 研 究 进 展 与 展 望 [J]. 农 业 机 械 学 报,2006,37(5):158~162. [2] Jean J H, Lai J H, Design and implementation of a visual servo system for aerial surveillance applications based on shape features[A]. 416-42 IEEE International Conference on Mechatronics[C]. Taipei, 2005. 1. [3] P. Castillo, A. Dzul, R. Lozano, Real-time stabilization and track ing of a four rotor mini rotorcraft[J]. IEEE Trans. Control Syst. Tec hnol., 2004, 12(4): 510-516. [4] 张铁中,陈利兵,宋健.草莓采摘呆板人的探求 :Ⅱ .基于图像的草莓重心位子和采摘点 真实定[J].中国农业大学学报,2005,10(1):48~51. [5 ] 宋 健 , 孙 学 岩 , 张 铁 中 , 等 . 开 放 式 茄 子 采 摘 机 器 人 设 计 与 试 验 [ J ]. 农 业 机 械 学 报,2009,40(1):143~147. [6] 赵 庆 波 , 赵 德 安 , 姬 伟 , 等 . 采 摘 机 器 人 视 觉 伺 服 控 造 系 统 设 计 [ J ]. 农 业 机 械 学 报,2009,40(1):152~156. [7] 张 志 勇 , 何 东 健 , 张 筑 , 等 . 苹 果 采 摘 机 器 人 手 臂 控 造 研 究 [ J ]. 中 国 农 业 大 学 学 报,2008,13(2):78~82. [8] 王 光 辉 , 宁 国 鹏 , 王 德 成 , 等 . 一 种 牧 草 干 燥 与 茎 叶 分 离 装 置 : 中 国,6.4[P].200904 29.

返回列表
地址:这里是您的公司地址 电话:+86-15020217966
Copyright 2019 可以玩时时彩的平台_信誉老站_欢迎您网站地图