本站提供专业的[留学生论文]定制业务,如需服务请,联系电话:13671516250.
本文是职称论文,本文根据智能采摘机器人视觉定位系统对准确性、实时性、便携性的要求,建立了基于 DSP 的柑橘果实自动识别系统。系统提取 YCbCr 颜色空间中的 Cr 红色色差分量,通过 DSP 对柑橘视频数据进行图像分割、特征提取,成功识别出柑橘果实。
0 引言
随着人口老龄化以及农村劳动力向城市的转移,导致农村劳动力减少,因而智能采摘机器人的研究和开发成为国内研究的热点之一。智能机械手能否实现实时、精准地探测果实位置是智能采摘机器人研究成败的关键,而国内的研究则大多集中在传统机器视觉系统上。传统机器视觉系统大多采用 PC 机作为核心处理器,虽然可靠性和精度都很高,但因其体积与功耗的限制不能在智能采摘机器人中应用。为了满足实际应用的要求,除对识别设备的集成度、便携性、可升级性都有极高的要求外,对程序设计中采用的算法的可靠程度也有很高要求。TI 公司的 TMS320C64xDSP 系列的 DM642 芯片具有体积小、质量轻、图像处理能力强等诸多优点。DM642 的 600MHz 高速运算能力、EDMA 和EMIF 的高速数据传输能力 ,以及它的视频编/解码单元无缝连接的灵活且可配置的视频端口的特点,为实现智能采摘机器人实时、精准地果蔬采摘 提 供 了 极 有 利 的 条 件。为 此,构 建 了 以TMS320DM642 作为核心处理器的柑橘果实识别系统,通过对柑橘果实 Cr 红色色差分量信息进行预处理、阈值分割、形态学处理、特征提取等处理过程,成功识别了柑橘林中任意柑橘树上的果实,为下一步的定位工作做好了准备。
1 实验系统与图像获取
1.1实验系统组成
系统的关键技术是对柑橘果实视频图像的有效分割及准确地提取出柑橘果实面积、轮廓、形状等重要信息。DSP 相对其他嵌入式芯片而言,拥有专门的逻辑运算单元和乘法单元,采用哈佛体系结构,从而保证了 DSP 的实时性处理速度,降低了成本。本文选用的核心芯片为 TI 公司的 TMS320DM642,它是一种32 位定点型的 DSP 芯片,具有超长指令字结构(VLIW),支持每个时钟周期在 8 个功能单元同时执行 32bit 指令。该芯片具有灵活且可配置的视频端口,有利于视频数据信息快速传输。同时,DM642 采用了两级缓存结构:一级程序缓存(L1P)为 16kB,一级数据缓存(L1D)为 16kB;二级缓存(L2)有 256kB,为数据和程序空间共享,使得程序的执行效率得到了大大提高。
系统由 CCD 摄像头、核心处理器 TMS320DM642、存储器 SDRAM、视频解码器 TVP5150、视频编码器SAA7121 和显示器等组成。本文的核心算法和图像处理部分都在 DM642 中完成,设计的识别系统在如图1 所示的硬件平台上实现。
1.2图像获取
在2013 年 10 -11 月份柑橘采摘期,使用 CCD 摄像头在湖北孝感农场柑橘果园在自然光照条件下采集了 60 幅柑橘树视频图像(柑橘果实被遮挡部位的面积不超过果实本身面积的 1/2),每幅图像都是 24bit 真彩色。
在大量实验基础上,发现了不同采集距离下图像中果实大小不同对目标果实识别效果的影响规律,得知图像的采集距离约为0.5m 较合适。
2 系统软件设计
为了在硬件系统上完成柑橘果实视频图像数据的采集和柑橘果实图像分割工作,在 CCS3. 3 平台上采用 C 语言编写了 TMS320DM642 的应用程序,流程如图2 所示。
硬件设备连接完毕后,进行程序加载。对各模块进行初始化(包括 CLS、CHIP 模块、EMFA 模块、中断向量表、编/解码芯片等),初始化完成以后即刻打开图像采集端口,进行图像采集。当一帧视频图像采集完成后,则开始对柑橘果实视频图像进行预处理、阈值分割、形态学处理、特征提取等,其目的是识别出柑橘果实;反之则继续采集柑橘果实图像。最后,将柑橘果实视频图像处理结果显示在显示器上。该系统每秒钟可以处理25 ~30 帧图像,满足实时性的要求。
3 柑橘果实视频图像分割
柑橘果实视频图像分割算法分为 4 部分,其中由于 CCD 摄像头信号经 TVP5150 解码芯片输出为 ITU- BT. 656 视频数据流,包括了图像亮度 Y、蓝色色差Cb 和红色色差 Cr 信息,这 3 个分量在 BT. 656 视频数据流中的比例为 4∶ 2∶ 2。DM642 将这 3 个分量信息分别存储在不同的缓存中,为了减少图像处理的数据量,只对图像的红色色度 Cr 通道的信息进行处理。图3(a)为由CCD 摄像头采集到的柑橘图像,图3(b)为柑橘果实的 Cr 红色色差分量。
3.1预处理
在自然环境下,由 CCD 摄像头采集到的柑橘果实视频不可避免地受到了散粒噪声的干扰,将直接影响到果实的识别和分割。窗口 3 ×3 的中值滤波是将数字图像中一点的值用该点的一个邻域中各点值的中值代替,让周围的像素值接近真实值,从而消除孤立的噪声点。对柑橘果实 Cr 红色色差分量的灰度图进行滤波去噪,在去除散粒噪声的同时,保护了图像的边缘。图4 所示为中值滤波处理后的效果图。
3.2阈值分割
二值化阈值分割的原理就是将原始图像像素点q( x,y) 的灰度级按阈值划分为两类:目标类( 柑橘果实)和背景类(枝干、叶子)。确定最佳阈值 T 后,对图像进行二值化处理,即
采用 MATLAB7.0 仿真分别对 60 幅柑橘图像中的柑橘果实、背景(包含枝干、叶子)的 Cr 红色色差分量的灰度直方图进行统计分析发现:灰度直方图呈双峰特性,柑橘果实的灰度级多集中在 141 ~186 之间,背景灰度级多集中在 120 ~130 之间。采用双峰二值法对 Cr 红色色差分量进行阈值分割,取双峰的中点150 作为阈值,将灰度级大于 150 判定为果实 ( 白色),其他的判定为背景(黑色)。在 CCS3. 3 上运行程序,得到结果如图5 所示。
3. 3 形态学处理
受光照、叶子的疏密程度等诸多因素的影响,二值化后的图像会产生孔洞或孤立的点,将对后续处理带来影响。用结构元素 B 为9 ×9 正方形矩阵模板对原始图像 F 进行的形态学滤波,n 为滤波系数。当 n= 10 时,即先对原始图像 F 先进行腐蚀 10 次,再进行膨胀10 次,得到目标图像 G 。这样做的目的是可消除遗留的随机噪声,减少后续处理的无谓运算。
在 CCS3.3 上运行程序结果如图6 所示。
3.4基于面积特征提取
自然环境中的柑橘果实会受到叶子或枝干的遮挡,得到的果实形状是不规则的,不适于基于果实形状的特征提取,因此提出基于果实面积特征的特征提取。在二值图像中,相互链接的白像素的集合成为一个(白)区域。将每个区域标记上标号,分别统计每个区域的面积,则有

其中,Ai代表 i 区域的面积; qi(x,y) 代表 i 区域的像素点。
在摄像头和柑橘果实距离为 0. 5m 的情况下,拍摄了 60 幅果实图片(柑橘果实被遮挡部位的面积不超过果实本身面积的 1/2),用 Photoshop 将图片中的柑橘果实和背景噪声分离,再通过 MATLAB7. 0 仿真软件分别统计果实面积 A0、背景噪声中最大区域面积 Amax,如表1 中 A0和 Amax所示。
由表 1 可知,成熟柑橘果实的面积 A0不小于6 000,故将区域面积 Ai大于 6 000 作为果实特征(白色),剩余的为背景(黑色),即
在 CCS3.3 上运行程序结果如图7 所示:
4 实验结果分析
经过对60 幅图像的实验数据分析和统计可知,本系统识别出柑橘果实的时间小于40ms,识别出目标面积 Ai的大小如表1 所示。
提取出完整果实面积的准确程度是衡量果实识别技术准确性的一个重要指标。假设
其中,S 来表示误判率,A0表示实际柑橘果实面积; Ai表示识别出目标面积。S 越小,代表提取出的果实面积越接近实际果实面积,也就意味着识别果实的准确性越高。
用上述方法对60 幅图像的误判率进行了计算,结果如表1 所示。
由表 1 可知,在 60 幅样本图片中,误判率 S 在10% 以下的占到样本总量的 98% ,误判率在 5% 以下的则占到 71. 67%。果实面积提取准确率的平均值达 96. 26%,柑橘果实几乎被完整且有效地识别出来。由此可见,该系统识别柑橘果实是十分可靠的,误识率没有超过 16. 31% 的情况。其中,样本 27、54提取误差率较大。经分析是因为拍摄图片时阴天,导致光线不足,果实与其他背景噪声的色差不明显,对后续图像分割的准确性造成了较大的影响,果实识别误识率相对较大。由此可见,该系统识别柑橘果实是十分可靠的,达到了最初的设计要求。
5 结语
构建以 TMS320DM642 作为核心的柑橘果实识别系统,集图像采集、图像处理、图像显示于一体,利用DM642 的高速运算能力和高速数据传输能力以及它的视频编/ 解码单元无缝连接的灵活可配置的视频端口,对柑橘果实 Cr 红色色差分量信息进行图像分割,在40ms 内就可成功识别出柑橘果实,且准确率高达96. 26% 。系统满足了智能采摘机器人视觉定位系统对便携性、实时性、准确性的要求,为智能采摘机器人实现实时、准确采摘果蔬打下了坚实基础。
参考文献(略)
