发布时间：2022-04-25所属分类：计算机职称论文浏览：1次
摘 要： 摘 要：马铃薯自动分级过程中，存在既要保证分级精度又对分级速度有一定要求的难点问题。该文探讨了利用机器视觉技术快速获取马铃薯图像特征参数，结合多元线性回归方法，建立马铃薯质量和形状分级预测模型，实现基于无损检测的马铃薯自动分级。搭建了同时获取马铃薯三
摘 要：马铃薯自动分级过程中，存在既要保证分级精度又对分级速度有一定要求的难点问题。该文探讨了利用机器视觉技术快速获取马铃薯图像特征参数，结合多元线性回归方法，建立马铃薯质量和形状分级预测模型，实现基于无损检测的马铃薯自动分级。搭建了同时获取马铃薯三面投影图像的机器视觉系统，通过图像数据处理获得马铃薯俯视图像轮廓面积、两侧面图像轮廓面积、俯视及侧面图像外接矩形长度及宽度数据等图像特征参数，通过多元数据回归分析，建立了马铃薯质量和形状分级预测模型。选择 100 个试验样本运用该方法进行质量和形状分级模型构建和预测，采用电子称获取样本实际质量，采用目测法对马铃薯进行形状分选。对比试验结果表明，质量分级相关度系数 R 为 0.991，形状分级分辨率为 86.7%。表明该方法对马铃薯质量和形状分级进行预测具有可行性，可运用于马铃薯自动分选系统中。
关键词：无损检测;图像处理;分级;机器视觉;马铃薯;特征参数
0 引 言
马铃薯是仅次于小麦和玉米的第三大重要的粮食作物，是中国五大主食之一。对马铃薯实施自动化分级是马铃薯商品化处理的关键环节。随着机器视觉技术的发展，采用机器视觉技术对马铃薯实施在线无损检测并进行自动化分级是马铃薯收获后自动化生产线的重要发展方向[1-2]。
针对马铃薯内外部缺陷自动检测与分级方面，周竹等[3]利用高光谱成像技术采集了 6 种马铃薯外部缺陷的高光谱图像，采用了主成分分析法确定了 5 个特征波段，最后结合波段比算法和二次差分算法，缺陷的识别率达到了 95.65%;李小昱等[4]基于机器视觉与近红外光谱融合技术，提出了 DS 证据理论结合支持向量机来检测马铃薯的痂疮病，对测试集的识别率为 95.83%;吴晨等[5]基于高光谱成像技术结合偏最小二乘系数法优选出 8 个特征波段，分别建立了支持向量机和偏最小二乘干物质的回归模型，其中支持向量模型的相关系数达到了 0.94。
针对无内外部缺陷的合格马铃薯进一步进行等级规格检测和分级具有重要的商业意义，McClure 和 Morrow[6] 采用单色机器视觉系统利用尺寸和形状对马铃薯进行了分级。Heinemann 等[7]基于美国农业部检测标准开发了基于机器视觉的马铃薯自动分级系统，用 8 邻域追踪算法检测边界和傅立叶描绘子描述形状，根据形状和大小特征进行马铃薯自动分级。Marchant 等[8]研制了一种根据尺寸对马铃薯进行分级的机器视觉系统，通过测量马铃薯的长度、最小宽度、最大宽度、形状，并估算其重量，该系统每秒钟可以对 40 个马铃薯进行分级。Tao 等[9-10] 研究了基于傅里叶形状分类方法的马铃薯形状分级机器视觉自动检测系统，提出了基于规则的马铃薯动态分级算法。Hassankhani 和 Navid H[11]通过机器视觉系统获取马铃薯图像，提取图像周长和面积信息，通过设置阈值对马铃薯进行分级。Deck 等[12]采用多层前馈神经网络和分类器对马铃薯颜色进行比较分类。Abdollah 等[13]开发了一套基于机器视觉框架的马铃薯实时自动分级系统，对传动进给系统、光照系统、视觉系统进行了优化配置设计，在每秒 2 个马铃薯的速度下，分级精度可达 97.4%。李小昱等[14]设计了一种基于 V 型平面镜能同时获取马铃薯三面图像的自动分级系统，根据马铃薯大小特性，提出了基于最小外接柱柱体体积法的分级检测方法。孔彦龙等[15]提出了一种基于图像综合特征参数的分选方法，提取马铃薯俯视图的面积参数和侧视图的周长参数，通过回归分析建立马铃薯的质量检测模型，实现对马铃薯的质量分选;提取马铃薯俯视图像的 6 个不变矩参数，输入到已训练好的神经网络，完成对马铃薯形状分选。麻硕士等[16]基于机器视觉技术将Zernike矩作为特征参数并利用支持向量机实现了马铃薯薯形的检测分类;谭豫之等[17]利用改进的果径法和离心率法对马铃薯进行了大小和形状的分级，并且根据马铃薯的颜色特性提出了区分发芽马铃薯和畸形马铃薯的 2 种算法，马铃薯在线综合检测的精度达到了 88%;童淑敏等[18]提出了一种结合矩特征和傅立叶描述子的马铃薯形状识别的新的方法，椭圆、圆和畸形马铃薯的识别率分别达到了 90%、93.3%、 100%。从以上文献分析可知，利用机器视觉技术提取马铃薯的图像数据，估算马铃薯的质量和形状，实现马铃薯自动分级是无损检测自动分级的研究热点。但现阶段的研究重点集中在马铃薯质量和形状估算算法研究方面，对马铃薯多维图像特征数据的快速提取和筛选以及图像数据与马铃薯质量和形状之间的关联度缺乏深入研究。
马铃薯的质量及形状是划分马铃薯等级、进行包装预测的重要指标，质量和形状与马铃薯的外形尺寸参数具有显著的正相关性。如何通过机器视觉技术快速感知与马铃薯质量和形状相关性显著的特征数据，建立相关性强的预测估算模型是提高马铃薯分级精度和速度的关键。本文探讨了利用机器视觉技术获取马铃薯图像特征参数，结合主成分分析法和多元线性回归方法，筛选出权重系数大的图像特征数据，并建立马铃薯质量和形状分级预测模型，实现基于无损检测的马铃薯自动分级。通过机器视觉试验平台同时捕获马铃薯三面图像，对获取的图像进行图像数据处理获得马铃薯俯视图像轮廓面积、两侧面轮廓图像面积、俯视及侧视图像外接矩形长度及宽度数据，通过数据回归分析，建立马铃薯质量和形状分级预测模型，并采用电子称获取样本实际质量，采用目测法对马铃薯进行形状分类，对本文所述方法的质量和形状分级预测模型进行验证，以期提高分级生产精度和速度。
1 试验材料及方法
1.1 试验材料
试验用马铃薯全部采购自广州某批发市场，考虑到马铃薯自动分级过程中，对分选出的合格马铃薯产品进一步进行质量和形状评估才有实际意义的需求，先人工挑选合格马铃薯样品，剔除干腐、表面碰伤、机械损伤以及孔洞等外表面缺陷薯，选择大小规格不同的合格马铃薯试验样本共 100 个。根据 NY/T1006-2006《马铃薯等级》国家标准[19]要求，划分为大(>300 g)、中(100～ 300 g)、小(<100 g)3 个等级，其中大类 32 个，中类 30 个，小类 38 个。为了使试验样本数据更具代表性，在 3 类不同样品中均包含具有典型代表外形的类球型和类椭球型马铃薯若干。进行图像采集之前，进行简单清洗处理，用干毛巾擦干后，放置 1 d，自然风干。
1.2 试验硬件系统构成
图像采集试验所用的硬件系统示意图如图 1 所示。该系统中的主要硬件规格为 USB 工业相机： 3.0Megapixels，光源：4 根 13 W 的 LED 灯管，普通平面镜。工业相机置于顶部中央，距离载物台的距离为 740 mm，4 根 LED 灯管置于支架顶部，灯管直接放在支架的 4 条横梁上，保证每个方向的光照均匀。两普通平面镜以夹角 65°呈 V 形置于载物台两边，角度的调整确定以通过摄像头观察左右两边的镜子中不出现对面镜子中的虚像，并且左右两边成像变形较小的状态为角度最终取值。将马铃薯置于载物台上的托杯中，同时采集一个俯视和 2 个侧视共 3 幅图像。经过图像采集卡转换成数字图像存储于计算机中，进行后续分析处理。
1.3 图像分析及数据处理软件
马铃薯原始图像为 24 位真彩色图像，将采集到的 3 幅图像进行预分割，用 MATLAB 编程实现图像处理，采用 Unscramble 软件进行数据回归处理。
1.4 马铃薯特征数据提取
为获得与马铃薯等级相关的几何形状尺寸，基于机器视觉技术首先要对获取的图像进行预处理，提取出与马铃薯质量和形状相关的图像特征参数。由于马铃薯质量和形状与图像颜色无关，本文采取背景去除、彩色图像二值化、中值滤波法等预处理对图像进行快速平滑处理，获得马铃薯投影二值图像，预处理后马铃薯三面投影二值化图像见图 2。
马铃薯几何特征数据均与其图像边界有关，经典的 Sobel 边缘检测算法因其计算量小、方法简单、处理速度快，所得到的边缘光滑、连续 在图像边缘提取过程中得到广泛应用。本文采用 Sobel 边缘检测算法[20]对马铃薯三面投影边界进行提取，按式(1)、式(2)的 Sobel 算子检测水平和垂直边缘。用该算子与图像进行卷积后，提取出马铃薯边缘图像。
1.5 多变量分类方法
马铃薯质量和形状与图像处理抽取的特征数据具有显著的正相关性。通过同时获取的马铃薯三面图像，可获得如表 1 所示的 9 个图像特征数据。为满足马铃薯在线分级速度的要求，需要对众多特征数据进行筛选，获取与马铃薯质量特征相关度高的参数变量，作为质量预测模型的自变量，提高分级处理速度。本文采用主成分分析法(PCA，principal components analysis)进行多变量特征数据降维筛选,采用偏最小二乘法-判别分析(PLS-DA，partial least squares discriminate analysis)进行形状分类判定。
1.5.1 主成分分析法
主成分分析利用降维的思想，把多指标转化为少数几个综合指标，其基本思想是设法将原来众多的具有一定相关性的指标 X1，X2，…，XP(比如 P 个指标)，重新组合成一组较少个数的互不相关的综合指标 Fm来代替原来指标，它不仅能够对数据降维，又可以消除原始数据中的冗余信息，是一种应用最广的数据降维方法。
1.5.2 特征数据处理
将采集的 100 个样品的图像特征数据用于多元线性回归分析。从质量分级的角度，在人工划分的大、中、小的 3 类马铃薯样品中，随机抽取方法获得训练集和校样集样本特征数据，其中 32 个大类样本分为 22 个训练集样本、10 个校验集样本，30 个中类样本分为 20 个训练集样本、10 个校验集样本，38 个小类样本分为 28 个训练集样本、10 个校验集样本。从形状分级的角度，通过目测挑选具有典型形状特征的样品(类球形 42 个，类椭球形 58 个)，类球形中的 30 个样本作为训练集，12 个作为校验集，类椭球形中 30 个样本作为训练集，28 个作为校验集。
由于各特征数据具有量纲和数量级间的差异，为了避免特征数据不同量纲和数据数量级相差太大对数据分析结果的影响，数据分析前对所有样本的特征数据按式(4)进行标准化处理，采用软件 THE Unscramble(version9.8， CAMO Software AS，Oslo，Norway)进行数据分析。
2 结果与分析
2.1 质量分级
训练集样本由 22 个大类样品、20 个中类样本、28 个小类样本组成，采集训练集的图像特征数据作为马铃薯质量分级的主成分分析数据(图 3)。
从主成分得分数据可知，前 2 个主成分变量解释了所有特征数据所包含 96%(PC-1 86%，PC-2 10%)的信息，各类样本数据的得分分布将样本大致分为 3 大类型，小类位于得分图中的左下区域，中类位于中间区域，大类分散于图中右边区域。由此利用图像特征数据对马铃薯的质量进行分类是有效的。
相关知识推荐：论文增加作者该如何说明
经主成分分析得到 9 个图像特征参数的载荷量(如表 1)。由表 1 可知，俯视区域、左侧视区域和右侧视区域像素值载荷量取值较大，分别为 0.699、0.508 和 0.503，均超过 0.5，而其余参数的载荷量取值较小，说明这些参数对质量分级的贡献率不大，可筛选剔除。
2.2 形状分选
人工进行马铃薯形状划分时，主要观察马铃薯横径和纵径方向的尺寸比，如果横径与纵径尺寸较接近，则人工判定为类球形，否则判定为类椭球性。根据马铃薯形状分类的特点，形状判定与马铃薯俯视和侧视图像的区域像素数据相关度低，为降低数据处理的复杂性，进行主成分分析时，可剔除俯视区域、左侧视区域和右侧视区域像素值 3 个参数，主要考虑马铃薯俯视和侧视图像外接矩形特征数据来预测马铃薯的形状，用于形状分析的特征数据包含俯视图和两侧视图最小外接矩形长和宽。将 60 个训练样品的外接特征数据进行主成分分析，其结果如图 4 所示。从图 4 可知，前 2 个主成分变量解释了所有特征数据所包含 95%(PC-1 81%，PC-2 14%)的信息，类球形样本得分位于图中上部区域，类椭球形样本得分位于下部区域但两者在中间，有部分重叠但较小，说明图像特征数据对马铃薯形状分类预测具有较好的效果。
为进一步用图像特征参数对马铃薯形状进行判定，设置哑元变量−1 和 1 分别代表类球型和类椭球形，采用偏最小二乘法-判别分析对样品进行分类预测，结果如图 5 所示，形状类型分类错误矩阵如表 4 所示，60 个样品有 8 个误判，分类正确率为 86.7%。
如表 4 所示，算法在对 30 个类球样本进行识别时，把 27 个预测为类球，而把 3 个误判为类椭球，正确率率为 90%在对 30 个类椭球样本识别时，把 25 个预测为类椭球，把 5 个预测为类球，正确率为 83.3%。
为帮助生产线分级判断，选择马铃薯俯视图最小外接矩形长和宽、侧视图最小外接矩形长和宽构建马铃薯形状预测模型，用哑元变量−1 和 1 分别代表类球型和类椭球形。用软件建立的形状回归模型如式(6)，用该回归方程对形状分类的 40 个随机校验集样本进行分级试验，将 Shape 值为正值的判断为类椭球形，Shape 值为负值的判断为类球形，分选结果表 5 所示，类球形和类椭球形的分选正确率分别为 83.3%和 89.3%，说明用该回归模型进行形状分选是可行的。
3 结 论
1)本文利用机器视觉技术，采用 V 形平面镜同时捕获马铃薯三面图像。利用图像处理技术提取包含俯视图区域、左侧视图区域、右侧视图区域像素，俯视区外接矩形长和宽，左侧视区外接矩形长和宽，右侧视区外接矩形长和宽 9 个马铃薯图像特征数据用于马铃薯质量和形状分级。
2)采用主成分分析方法对图像特征数据与马铃薯质量之间的相关性进行了分析，分析显示前 2 个主成分变量解释了所有特征数据所包含 96%的信息。从训练集样品得分结果看，小类位于得分图中的左下区域，中类位于中间区域，大类分散于图中右边区域，样品得分结果将样品按质量大小划分为三大类。通过选择马铃薯俯视图像面积和 2 个侧视图像面积构建马铃薯质量预测模型，其相关系数为 0.991，表明建立的重量回归模型是可行的。通过测试集测试，3 种类型的正确率分别为 90%、100%、90%。
3)采用主成分分析方法对图像特征数据与马铃薯形状之间的相关性进行了分析，得分图显示前两个主成分变量解释了所有特征数据所包含 95%的信息，类球形样本得分位于图中上部区域，类椭球形样本得分位于下部区域，样品得分结果将样品按形状类型划分为两大类。通过偏最小二乘法-判别分析对样品进行分类预测，分类率为 86.7%。表明用图像特征参数进行形状预测是可行的。
4)选择马铃薯俯视图最小外接矩形长和宽、侧视图最小外接矩形长和宽构建马铃薯形状预测模型，用预测模型对形状测试集样本进行分选，类球形和类椭球形的分选正确率分别为 83.2%和 89.3%，该回归模型进行形状分选是可行的。 ——论文作者：王红军，熊俊涛，黎邹邹，邓建猛，邹湘军
[参 考 文 献]
[1] Joko Siswantoro, Anton Satria Prabuwono, Azizi Abdullah. Volume measurement algorithm for food product with irregular shape using computer vision based on Monte Carlo method[J]. Journal of Ict Research & Applications, 2014, 8C(1): 1-17.
[2] Narendra V G, Hareesh K S. Quality inspection and grading of agricultural and food products by computer vision: A review[J]. International Journal of Computer Applications, 2010, 2(1): 43-65.
[3] 周竹，李小昱，陶海龙，等. 基于高光谱成像技术的马铃薯外部缺陷检测[J]. 农业工程学报，2012，28(21)：221-228. Zhou Zhu, Li Xiaoyu, Tao Hailong, et al. Detection of potatoexternal defects based on hyperspectral imaging technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(21): 221-228. (in Chinese with English abstract)
[4] 李小昱，陶海龙，高海龙，等. 基于多源信息融合技术的马铃薯痂疮病无损检测方法[J]. 农业工程学报，2013， 29(19)：277-284. Li Xiaoyu, Tao Hailong, Gao Hailong, et al. Nondestructive detection method of potato scab based on multi-sensor information fusion technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(19): 277-284. (in Chinese with English abstract)
[5] 吴晨，何建国，刘贵珊，等. 基于近红外高光谱成像技术的马铃薯干物质含量无损检测[J]. 食品与机械，2014， 30(4)：133-136，150. Wu Cheng, He Jianguo, Liu Guishan, et al. Non-destructive determination of dry matter content in potatoes based on near-infrared hyperspectral imaging techinque[J]. Food and Machinery, 2014, 30(4): 133-136, 150. (in Chinese with English abstract)
[6] McClure J E, Morrow C T. Computer-vision sorting of potatoes[C]. ASAE Paper, 1987, 87: 6501.
[7] Heinemann P H, Pathare N P, Morrow C T. An automated inspection station for machine-vision grading of potatoes[J]. Machine Vision and Application, 1996, 9(1): 14-19.
[8] Marchant J A, Onyango C M, Street M J. High speed sorting of potatoes using computer vision[C]. ASAE Paper, 1988, 88: 3540.
[9] Tao Y, Morrow C T, Heinemann P H, et al. Fourier-based separation technique for shape grading of potatoes using machine vision[J]. Transactions of the ASAE, 1995, 38(3): 949-957.
[10] Tao Y, Heinemann P H, Varghese Z, et al. Machine vision for color inspection of potatoes and apples[J]. Transactions of the ASAE, 1995, 38(3): 1555-1561.
[11] Hassankhani R, Navid H. Potato sorting based on size and color in machine vision system[J]. Journal of Agricultural Science, 2012, 4(5): 235-244.
[12] Deck S H, Morrow C T, Heinemann P H, et al. Comparison of neural network and additional classifier for machine vision inspection of potatoes[J]. Applied Engineering in Agriculture, 1995, 11(2): 319-326.
[13] Abdollah G, Farid B, Hossein B. Design, development and evaluation of an online potato sorting system using machine vision[J]. International Journal of Agriculture and Crop Science, 2013, 6(7): 396-402.
[14] 周竹，黄懿，李小昱，等. 基于机器视觉的马铃薯自动分级方法[J]. 农业工程学报，2012，28(7)：178-183. Zhou Zhu, Huang Yi, Li Xiaoyu, et al. Automatic detecting and grading method of potatoes based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(7): 178- 183. ( in Chinese with English abstract)
SCI SSCI AHCI