[01663316]基于立体视觉的采摘机器人果实感知与实时定位技术

对自然环境下的荔枝、柑橘和葡萄等果蔬进行了静止与扰动状态的视觉识别研究。 （1）从生物学角度,进行荔枝不同品质的视觉图像分析,对正常和微损伤两种品质状态的荔枝果实荧光图像进行灰度直方图统计分析,确定了利用蓝色荧光作为照射光源以及HSV 颜色空间的V 分量进行微损伤荔枝果实图像识别的方法,利用探索性分析法对荔枝果实视觉检测试验结果进行统计与分析,确定了正常与微损伤荔枝果实图像分割的灰度图阈值范围,结合优化的圆拟合算法,实现了荔枝果实视觉智能分级系统的设计。该研究方法对正常荔枝和表皮微损伤荔枝的识别正确率为92%。 （2）进行了同类型水果葡萄的扰动状态的视觉识别与定位研究,首先扰动葡萄进行视频拍摄,通过对视频中多帧葡萄图像进行Otsu 阈值分割得到果实和果梗,并计算出各帧图像中葡萄串的质心;对各帧图像的葡萄串质心进行曲线拟合,计算出葡萄类单摆运动的周期与摆角,从而确定当前扰动葡萄是否适合视觉定位;对可实现视觉定位的扰动葡萄,选取类单摆中间位置质心点对应的葡萄图像,对葡萄串上方矩形区域进行Canny 边缘检测,再利用霍夫直线拟合结合角度约束法实现扰动葡萄采摘点的定位。视觉定位试验结果表明：自然环境中不同光照下扰动葡萄采摘点的视觉定位准确率达80%以上,为采摘机器人应用于实际生产提供理论基础。以上研究成果已经转化为科研论文《基于机器视觉的采后荔枝表皮微损伤实时检测》和《非结构环境中扰动葡萄采摘点的视觉定位》发表在EI源期刊农业机械学报上。 （3）利用项目研究的共性技术,进行了产后马铃薯的品质检测与分级,利用Otsu 法去除马铃薯图像背景,然后针对马铃薯的损伤、绿皮和发芽状态进行图像处理识别;针对马铃薯中的绿皮状态,利用感知器学习算法（PLA）区分正常马铃薯与绿皮马铃薯;然后针对表皮发芽的马铃薯,利用边缘检测法得到图像中马铃薯区域的各部位边缘,结合K-最近邻分类算法（Knn）识别表面发芽的马铃薯,同时通过角点检测确定轮廓上的发芽区域;然后对检测到的边缘利用中值滤波结合面积最大法,确定马铃薯表皮的损伤部位, 最终实现马铃薯品质的分级。 项目实施至今,发表研究论文4篇,及已录用1篇,其中EI收录2篇,待收录1篇。已申请3个发明专利,授权2个发明专利以及授权2个软件著作权。本研究成果的共性技术可应用于农业自动化生产线的水果品质检测与分级,工业自动化生产线上的机器人的目标的检测,医学方面,海洋等领域的立体成像,代替人工识别与作业,在农业及相关行业具有广泛的应用前景。