电话:+86-15020217966
可以玩时时彩的网站_信誉老站_欢迎您

+86-15020217966

基于立体视觉的水果采摘机器人系统调研报告

添加时间:2020-02-12  浏览次数:

更多

  基于立体视觉的生果采摘呆板人体例调研呈文_消息与通讯_工程科技_专业原料。基于立体视觉的生果采摘呆板人体例调研呈文 摘要: 基于立体视觉开发了生果采摘呆板人体例。正在图像空间欺骗 Hough 变换检测出果实目 标,并欺骗随机采样宗旨上匀称漫衍多个点的三维坐标消息重修果实球模

  基于立体视觉的生果采摘呆板人体例调研呈文 摘要: 基于立体视觉开发了生果采摘呆板人体例。正在图像空间欺骗 Hough 变换检测出果实目 标,并欺骗随机采样宗旨上匀称漫衍多个点的三维坐标消息重修果实球模子,进而取得宗旨质 心的空间地位坐标;通过最幼二乘法探索了采摘呆板人手眼标定;剖析了采摘呆板人的轨迹 计划。 实践结果证明,安排的主动采摘体例可能有用地消亡遮挡以及立体视觉立室失效等身分 的影响,宗旨定位差错幼于 8mm,明显地提升了抓取的精度和牢靠性。 闭节词: 采摘呆板人 立体视觉 手眼标定 识别 Research Report of fruit picking robot system based on stereo vision Abstract: A fruit picking robot system based on stereo vision is established. In the image space by using Hough transform to detect target fruit, and the random sampling of multiple point reconstruction of 3D coordinate information fruit ball model are uniformly distributed target, and then obtain the spatial position coordinates of the target centroid; by the least squares method of picking robot hand eye calibration; analysis of the picking robot trajectory planning. The experimental results show that the design of the automatic picking system can effectively eliminate occlusion and the influence of the stereo vision matching failure and other factors, target location error is less than 8mm, significantly improve the accuracy and reliability of the crawl. Key words: picking robot;stereo vision;hand eye calibration;identification 1 调研后台 果蔬采摘功课不断是个亟待办理的题目 。德国、荷兰和日本等蓬勃国度探索斥地了多 品种型的果蔬主动采摘呆板人,如苹果、 黄瓜和樱桃等主动成绩呆板人 采摘告成率等方面还存正在尚待办理的题目。 国内果蔬采摘呆板人的探索做事也较多 ,但多人局部正在采摘呆板人的视觉体例、 呆板手 和结尾奉行器等简单的功用模块,个中视觉体例的探索多人是正在单果无遮挡的理思条款下进 行的。本文基于立体视觉构修一个生果采摘呆板人体例,即欺骗视觉传感器获取处境图像,计 算出果实宗旨相看待呆板人坐标系的地位,然后驱动呆板人来到宗旨地位并抓取。 要点探索复 杂处境下果实宗旨的牢靠识别定位题目,并剖析体例的手眼标定与轨迹计划等。 [5] [2~4] [1] ,但正在果实识别率、 2 闭节本领 2.1 果实识别定位 果实宗旨的辨识和定位是果实成绩呆板人的首要做事 ,是影响果实抓取告成率的闭节因 素。采摘流程中,呆板人结尾奉行器的做事地位不光由果实宗旨地位决意,也受采摘格式的影 响。目前常见的果蔬采摘格式有手指抓取采摘 、时时彩app下载纯气吸采摘 和气吸与手指相纠合采摘 [6] [2] [4] 等。本文采用了先让电动夹持器夹持住果实,再纠合拧断果柄的格式来告竣采摘,这就条件末 端奉行器的做事核心与果骨子心根基重合,以是,果实定位必要确定果实的质心地位。 正在双目立体视觉本领中,存正在着多种身分影响果实定位的精度和牢靠性。因为处境光照、 果实形式等弗成控身分,使得立体视觉立室流程中不免会显示部门随机漫衍的无效立室点,进 而无法取得深度消息而导致采摘失效。使用的立体视觉模块将整个无法立室的点的深度值均 设为 0.376 926m。 果实弗成避免地会存正在被叶片等物体遮挡的情形,假设欺骗宗旨果实的形心来举行定位, 那么该形心正在图像平面上就有或者落正在遮挡物上。结果立体视觉立室后获得的空间地位即是 遮挡物的地位而不是真正的采摘宗旨的空间地位,从而酿成抓取或者凋谢。 纵然正在无遮挡等相 对理思条款下立体立室流程不会显示前述情形,但因为图像噪声、 图像解决差错以及标定差错 等原故,立体消息的精度也同样难以保障,是以,假设纯真寄托形心等少数点来决意果实空间 地位则或者存正在较大差错。 果实中球形类果实约占 70%,为了战胜上述立体视觉本领中存正在的几个题目,将欺骗宗旨 上多个点的三维地位消息重修出果实球模子,然后基于最幼二乘法阴谋果骨子心地位。 果实球模子为 (x-a) +(y-b) +(z-c) =R 2 2 2 2 (1) 个中(a,b,c)为球心正在相机坐标系中的坐标。式(1)也可能写成 2ax+2by+2cz+R2-(a +b +c )=x +y +z 看待 n 个点,式(2)可用矩阵的形状表达,即 2 2 2 2 2 2 (2) (3) 式(3)可能简写成 Am=B 欺骗最幼二乘法,可能解得 ( 4) ( 5) 从而取得球心坐标。 统筹算法的精度和恶果,欺骗了宗旨上 8 个点举行宗旨地位的求解。简直手法是:先以圆 形来近似描摹果实形式,由 Hough 变换可能获得各个果实正在图像平面上的圆心坐标(i,j)和 半径R,这种手法阴谋简便,果实形心识别确切;然后可容易地获得该果实圆的表接矩形,该矩 形左上点的坐标为(xmin,ymin),右下点的坐标为(xmax,ymax);末了将正在 此矩形区域内随机寻找一个点(x,y),坐标为 (6) 个中,rand()是C++圭臬函数库供给一个天生匀称漫衍随机数的函数,返回 0~32 767 间 匀称漫衍的伪随机整数,%表现求余数。如此可能避免这些点过于蚁合,以提升最幼二乘法的 精度。当然,这些点(x,y)还务必正在果实宗旨上,而不是遮挡物上,同时这些点处的立体立室 应当适宜有用性检查。如此直到找到 8 个点为止,它们的三维坐标将用来拟合出一个球,进而 求出宗旨的质心地位。一切果实识别圭臬流程如图 1 所示。 图 1 果实识别定位流程图 正在实践室中,利用 3 个橙子模子举行实践,如图 2 所示。 用 R—B 对原图举行解决后并二值 化;然后对图像举行机闭元素巨细为 3×3 的侵蚀与膨胀,结果如图 2b 所示; 对图像基于 Hough 变换检测圆,获得确切的果实形心,把检测出的果实圆轮廓叠加到图 2b 上后获得图 2c。 同时, 立体视觉模块供给的视差图如图 2d 所示,若已知图像上的点(i,j),可求出其正在相机坐标系中 对应的三维坐标(x,y,z)。 由图 2c 可能看出,左边的果实被叶片遮挡,其正在图像平面上的形心位于叶子上,利用每每 的基于形心特点等立室手法将无法获得确切的果实空间地位。使用提出的手法识别出宗旨位 置,通过呆板人示教数据,纠合下面描摹的坐标变换丈量出深度消息, 结果如表 1 所示。 可见, 该手法或许较为确切地取得宗旨果实的质心地位,有用地消亡了遮挡以及立室失效等对抓取 告成率的影响,提升了抓取的精度和牢靠性。 图 2 果实识别定位 (a)右眼校正图像 (b)二值图 (c)Hough 变换图 (d)深度图 表 1 果实定位实践结果 2.2 手眼标定 手眼标定即是找到相机坐标系与呆板人坐标系之间的管束联系 ,以便告竣果实宗旨正在机 器人坐标系中的定位。 因为立体视觉模块可能给出果实正在相机坐标系下的三维坐标,则该体例标定简化为求解 相机坐标系与呆板人基座坐标之间的映照矩阵。日常,坐标系{A}和{B}之间的映照矩阵为 (7) 由式(7)又可能将呆板人与相机坐标之间映照矩阵表现为 (8) 体例标定中,通过将呆板人示教到相机坐标系的原点处,纪录呆板人结尾运动隔绝可获得某一 修设下的平移矩阵为 看待盘旋矩阵,先正在呆板人的做事限造内随机选用 n 个宗旨点,这些点正在相机坐标系中 的地位由立体视觉模块供给,正在呆板人坐标系中的坐标值可能丈量取得,简直手法与前面测 量相机坐标系原点的手法肖似。然后把这些点代入式(8),于是可能获得一个由 3n 个方程构 成的方程组。实践中,选用了 10 个标定点,欺骗最幼二乘法阴谋出的相机坐标系相看待呆板 人的映照矩阵T为 使用上述标定手法,通过将呆板手的结尾示教到每个宗旨点的地位而取得三维坐标的实测值, 宗旨点正在呆板人坐标系中地位阴谋值与实测值之间的差值为标定差错。 由实践结果可见 , 宗旨点正在呆板人坐标系中地位坐标的各个分量上最大标定差错幼于 10mm。现实上,此差错是一归纳差错,它把立体视觉模块自己等症结的丈量差错也包蕴个中。 依照本文的采摘计划,该精度或许满意主动采摘做事的需求。当然,正在后续抓取探索中还将用 眼正在手上的视觉伺服担任本领进一步改良定位精度。 总之,该标定算法操作简便、 无需高贵的 实践配置,适合现场标定。 2.3 采摘呆板人的轨迹计划 轨迹计划即是依照功课做事条件,确定轨迹参数并及时阴谋和天生运动轨迹,它是果实收 获呆板人运动担任的按照。 看待果蔬成绩呆板人来说,日常只消求保障结尾奉行器来到宗旨点 时满意轨则的位姿条件,而如空间避障等题目可能纠合果蔬的栽培形式调理,获得肯定水平的 简化,如文件[2]就提出通过修剪果树枝条的主张使得果实容易识别和采摘。 针对安排的主动采摘呆板人实践体例,酌量球形果实的采摘条件,这里给出了分段途途规 划告竣呆板人的运动担任,如图 5 所示。 依照果实孕育的式样调理呆板人结尾奉行器处于适宜 的采摘式样,实践中一时采用了水准式样。 欺骗阴谋出的果实宗旨G正在呆板人坐标系 xOy 平面 内的投影点G′,担任呆板人的 S 闭节使得结尾奉行器盘旋到与x轴夹角为α 处 α =arctan(Y/X) (9) 图5 采摘呆板人轨迹计划示图谋 呆板人将正在直线 OG′与呆板人 z 轴构成的平面内运动,从A点到B点通过点到点的圆弧 插补格式运动,运动流程中结尾式样依旧褂讪。B 点的坐标为 (10) 由 B 点直线插补到果实 G 地位,以水准式样收拢果实,通过盘旋结尾奉行器使得果实与果梗分 离,已毕一次采摘做事。正在一切轨迹计划中,因为结尾奉行器的式样依旧褂讪,只是正在 G′Oz 平面内作平移运动,简化了呆板人求运动学逆解的流程。 同时, 相应的果实采摘区所需空间幼, 结尾奉行器遭遇袭击的或者性也会减幼。 2.4 体例构修 一切果实采摘呆板人实践平台首要由呆板手、 视觉体例、 结尾奉行器和阴谋机构成,如图 6 所示。 为了裁减构修体例的时分,采用了日本安川 6 自正在度通用工业呆板人,正在阴谋机的担任下, 它既可奉行点到点的运动,也可按闭节角举行运动。视觉体例采用多摄像机视觉担任本领,应 用了 Bumbelee2 立体视觉模块,可能正在较大限造内举行采摘宗旨的征采与定位,该模块也将用 于后续搬动式果蔬采摘呆板人的视觉导航。同时,还增添了眼正在手上(eye-in-hand)固定格式 的单目摄像机,它跟跟着呆板手一齐运动,以告竣幼标准正确伺服定位,进一步提升采摘告成 率和牢靠性。结尾奉行器采用了电动的二指夹持器,其抓取力与给定电流成比例,并可能依旧 夹持力恒定。 图6 采摘呆板人体例构成 3 调研总结 (1)构修了一个果实采摘呆板人体例,正在实践室条款下告竣了球形果实的自决采摘。 (2)使用果实球模子探索了多果有遮挡条款下的果实识别定位,有用地消亡了遮挡以及立室 失效等身分的影响,提升了抓取的精度和牢靠性。 (3) 利用了最幼二乘法举行了采摘呆板人手眼正确标定,各坐标分量的标定差错都正在 10mm 以内,或许满意果实抓取的必要。 (4) 采用分段途途手法告竣了采摘呆板人的轨迹计划,所需采摘空间较幼,可能减幼遭遇枝叶 等袭击的概率。 (5)农业呆板人是 21 世纪探索开展最速的呆板人。我国行为农业大国,生果和蔬菜正在人类的 存在中拥有很首要的位置,种植面积和产量逐年提升。而农产物的采摘是一项劳动强度大、消 耗时分长,拥有肯定告急的功课,是以,对农业采摘呆板人的探索就显得十分要紧。因为农业机 器人功课对象是有机生物体,且分别区域有分别的天然天色、 地形、 地貌以及分别的种植造 度,是以其使用的难度十分之大。更加针对这样错综繁复的表部处境和形式各异的功课对象, 纵然是正在统一种农业功课,其功课对象也是千差万别,如此一来,采用带视觉本领的农业采摘机 器人将不失为一个十分理思的挑选。 参考文件 [1] 宋 健 , 张 铁 中 , 徐 丽 明 , 等 . 果 蔬 采 摘 机 器 人 研 究 进 展 与 展 望 [J]. 农 业 机 械 学 报,2006,37(5):158~162. [2] Jean J H, Lai J H, Design and implementation of a visual servo system for aerial surveillance applications based on shape features[A]. 416-42 IEEE International Conference on Mechatronics[C]. Taipei, 2005. 1. [3] P. Castillo, A. Dzul, R. Lozano, Real-time stabilization and track ing of a four rotor mini rotorcraft[J]. IEEE Trans. Control Syst. Tec hnol., 2004, 12(4): 510-516. [4] 张铁中,陈利兵,宋健.草莓采摘呆板人的探索 :Ⅱ .基于图像的草莓重心地位和采摘点 切实定[J].中国农业大学学报,2005,10(1):48~51. [5 ] 宋 健 , 孙 学 岩 , 张 铁 中 , 等 . 开 放 式 茄 子 采 摘 机 器 人 设 计 与 试 验 [ J ]. 农 业 机 械 学 报,2009,40(1):143~147. [6] 赵 庆 波 , 赵 德 安 , 姬 伟 , 等 . 采 摘 机 器 人 视 觉 伺 服 控 造 系 统 设 计 [ J ]. 农 业 机 械 学 报,2009,40(1):152~156. [7] 张 志 勇 , 何 东 健 , 张 修 , 等 . 苹 果 采 摘 机 器 人 手 臂 控 造 研 究 [ J ]. 中 国 农 业 大 学 学 报,2008,13(2):78~82. [8] 王 光 辉 , 宁 国 鹏 , 王 德 成 , 等 . 一 种 牧 草 干 燥 与 茎 叶 分 离 装 置 : 中 国,6.4[P].200904 29.

返回列表
地址:这里是您的公司地址 电话:+86-15020217966
Copyright 2019 可以玩时时彩的平台_信誉老站_欢迎您网站地图