发布时间：2022-03-29所属分类：计算机职称论文浏览：1次
摘 要： 摘 要：由于野外诱捕害虫的姿态存在多样性和不确定性，使得利用机器视觉进行害虫的自动识别与计数仍然是一个难题。该文提出一种基于颜色和纹理等与形态无关的特征相结合和利用多类支持向量机分类器的多姿态害虫分类方法。通过对目标害虫图像进行不同颜色空间特征、基于
摘 要：由于野外诱捕害虫的姿态存在多样性和不确定性，使得利用机器视觉进行害虫的自动识别与计数仍然是一个难题。该文提出一种基于颜色和纹理等与形态无关的特征相结合和利用多类支持向量机分类器的多姿态害虫分类方法。通过对目标害虫图像进行不同颜色空间特征、基于统计方法的纹理特征和基于小波的纹理特征的提取，构建了 6 组不同组合的特征向量。将 10 阶交叉验证的识别率作为适应度函数值，利用遗传算法对各组特征向量进行降维筛选。最后利用基于有向无环图多类支持向量机分类器对多姿态害虫进行识别和特征组选择。结果表明，遗传算法最多可以使特征向量维数降到原来的 38.89%，基于 HSV 三通道颜色图像的小波纹理特征组在建模时间和平均准确率方面都表现最优，可以作为一种有效的多姿态害虫分类特征选择。
关键词：机器视觉;图像处理;特征提取;害虫分类;多类支持向量机
0 引 言
准确和及时的害虫识别与计数是监测农业害虫信息(发生种类、发生数量和发生时间)和害虫预测预报的一个重要前提。依靠人工识别与计数昆虫存在劳动强度大、非实时性和效率低等问题。近十几年来，农业害虫发生严重、虫口密度大、发生种类多，加上中国农民植保知识缺乏、有经验的昆虫分类专家和基层植保人员较少，不能满足当前害虫发生监测的需求[1]。随着图像处理和机器视觉技术的发展，研究者们开始探索基于模式识别的害虫自动分类与计数方法。
张红涛等[2-3]针对害虫目标的二值化图像提取面积、周长等形态特征，通过建立害虫模板库和隶属度函数对害虫进行识别分类，识别率达 86%以上，但未涉及害虫姿态对识别的影响。张建伟[4]通过收集蝴蝶标本，设计了基于形态特征和颜色特征的 2 种蝴蝶自动识别系统。Watson 等首先将每类昆虫中 23 只个体大小、姿态进行标准化处理以增强特征提取效果，然后利用数字识别系统对活飞蛾进行自动识别研究[5]。Wang 等在目级昆虫开发了一个昆虫图像自动识别系统，收集了来自 9 目 225 种昆虫图像，人工将昆虫位置放好，将不完整的、粘连在一块昆虫进行剔除，方便特征的自动提取[6]。邱道尹等设计了一种基于机器视觉的害虫检测系统，通过自动诱集并调整害虫姿态，以提取出的周长、不变矩等特征，运用神经网络分类器对常见的 9 种害虫进行分类[7]。
Wen 等[8-9]利用基于图像的方法对果树害虫进行了基于全局特征和局部特征的害虫识别，并指出害虫存在多姿态，增加了害虫识别的难度。吕军等[10-11] 针对害虫正面和反面 2 种姿态进行了基于模板匹配的多目标水稻灯诱害虫识别方法研究，但是野外害虫还存在其他姿态样式(躯干正反、翅膀伸缩各异、倾斜)。在模式识别方面，近年来支持向量机(support vector machine，SVM)在农业图像分析和处理中得到了很广泛的应用[12-15]，尤其是针对样本集较小的情况下，分类效果比人工神经网络(artificial neural network，ANN)更加有效[16-17]。而且针对多类识别问题，可以在标准二分类支持向量机的基础上构建多分类支持向量机(multi-class support vector machine，MSVM)进行多类目标的分类。
综上所述，目前大部分研究都是基于害虫标本在实验室环境下进行特征提取与识别，这些方法和成果对野外诱捕的多姿态害虫识别非常敏感，不具有很好的鲁棒性。因此，本文从与形态无关的颜色、纹理等特征提取出发，进行特征组合的构建与筛选，提出一种基于多类支持向量机分类器的多姿态害虫识别方法，以期为害虫实时在线识别装置开发提供依据。
1 材料与方法
1.1 图像获取
所有的样本于北京昌平小汤山精准农示范基地通过野外虫情测报装置获取，包括粘虫，桃蛀螟，棉铃虫，地老虎等 4 类成虫。利用自主搭建的软件控制拍照系统对图像进行采集，拍照装置示意图如图 1 所示，该装置由 1 m3的密闭箱体、配有可调高度立柱的 40 cm×40 cm 白纸平板、日本尼康公司生产的 D90 数码相机(焦距 18～200 mm，最大光圈 F3.5～F5.6)和 DVR-620D 双色温环状光源等部分组成。
试验中光源功率为 40 W，色温设置为 4 000 K，通过相机支架把数码相机与 620 光源完美地结合在一起，调节相机焦距，立柱高度设置为 45 cm 时，害虫处于最佳的拍照效果。每种害虫采集 80 张，总共 320 张，4 种害虫的姿态样例如图 2 所示。
从图 2 中可以看出害虫姿态各异，形态特征与害虫种类相关性不大。
1.2 图像预处理
由D90 相机获得的原始图像大小为4 288 像素× 2 848 像素，不适合进行大批量的图像算法处理。为了加快处理速度，只针对害虫目标区域进行处理，利用自动裁剪程序，通过选取害虫目标边缘为起点，沿水平向右方向、垂直向下方向将采集到的图像裁剪为 640 像素×640 像素大小的图像，进行下一步的目标特征提取。
1.3 图像特征提取
形状、颜色和纹理是害虫种类区分应用中常用的特征，单一的特征很难解决多目标的分类问题，多特征结合呈现更强的识别能力。另一方面，考虑到野外诱捕的害虫姿态不固定，同一种害虫形状姿态存在差异，本研究主要针对害虫多姿态图像，提取颜色和纹理 2 类与形态无关的特征，并进行不同的组合，挖掘出最优的、且易于嵌入式平台实现的特征组合。
1.5 多姿态害虫分类
在样本数不大的情况下，用很多提取的原始特征进行分类器设计时，不但计算复杂度大，而且会影响分类器的性能，因此需要在分类前进行关键特征的筛选。由于遗传算法具有强大的搜索能力，可以在较短的时间内搜索到全局最优点，因此本文采用遗传算法对提取的特征参数进行筛选与优化，剔除冗余参数和无关参数后，再进行分类。
1.5.1 特征参数筛选
将处理后的每类害虫样本随机地进行选择，按 3∶1 比例分成 2 组，分别用于训练和识别测试。为了能够比较不同特征组合的分类效果，随机数只产生一遍，用于所有组合的训练样本选择。
利用遗传算法(genetic algorithm，GA)分别对每组的特征向量进行降维处理，采用交叉验证(cross validation，CV)意义下的准确率作为 GA 中的适应度函数值，本文的特征向量优化过程如图 3 所示。
1.5.2 多类 SVM 分类器
标准 SVM 是针对 2 类模式识别问题而提出的，若要实现多类分类，就需要将多个标准 SVM 通过某种方法构造多类 SVM 分类器(multi-class support vector machine，MSVM)。目前构造 MSVM 的方法主要有一对多方法和一对一方法[21]，其中一对一的方法包括基于投票的多类支持向量机(voting based MSVM，VB MSVM)和基于有向无环图的多类支持向量机(directed acyclic graph MSVM，DAG MSVM)2 种方法。杨文柱等[22]研究表明一对一 MSVM，无论采用投票决策还是有向无环图决策，其分类正确率都比一对多 MSVM 高。在分类精度相差不大的情况下，DAG MSVM 要比 VB MSVM 的实时性更强，更适合用于在线分类系统。这里使用 DAG MSVM 方法对 4 类多姿态害虫进行分类研究，比较不同特征组合的分类效果。
基于 DAG MSVM 的训练过程如下：从训练样本中每次取出 2 类害虫的所有样本，标为类 1 和类2。然后将标好分类号的所有害虫作为输入样本来训练 SVM，得到相应的支持向量和相应的分类平面。当输出 1，表示训练样本不属于类 2;而若输出−1，则表示该训练样本不属于类 1。4 类害虫，需要建立 6(k=4)个 SVM 模型。
训练模型建立后，需要对模型进行性能测试。 4 种害虫种类的测试识别的遍历过程如图 4 所示。对于一个未知种类害虫 x 的一条遍历路径如图 4 中虚线箭头所示。首先，经过根节点 SVM 模型“1/4” 进行分类，结果输出为−1，表明它不属于第 1 类;继续经过右边孩子节点“2/4”。最后被叶子节点 “2/3”分类，得出所属类别为桃蛀螟。其实遍历的过程就是一个累积投票过程，但是减少了需要分类的次数，加快了运算速度。
2 结果与分析
文方法基于 Matlab2009a 编程实现，其中标准的二分类 SVM 使用了支持向量机 Matlab 工具箱，SVM 参数 c，g 采用网格化寻优策略进行选择。 PC 的处理器为主频 3.20 GHz 的 Intel Core i5-3470 CPU。
2.1 特征参数筛选
在上述采集的 4 种害虫图像中，通过随机选取 60 张图像作为训练样本，训练样本总数为 240，利用遗传算法进行 100 次的迭代，分别对 6 组特征组合进行自变量筛选，结果如表 1 所示。
从特征向量维数变化来看，经过遗传算法优化筛选后，除了第 4 组以外，其他组的输出特征维数基本约为输入特征向量维数的 1/2，第 6 组优化程度最高，优化后的参数比例只为 38.89%，第 3 组优化程度次之，第 4 组由于是灰度图像的 3 个细节分量，可以说在分类识别上三者同等权重，识别相关性较大，没有进行优化。
从特征属性上分析，第 1 组特征中，优化后特征均值所占比例达到了 62.5%，基于灰度共生矩阵的特征标准差被全部优化，说明统计纹理特征中的特征均值对害虫分类的贡献值较大;从第 2、3 组特征优化结果可以看出，各个颜色分量均值被保留，而且基于 HSV 和统计纹理相结合的特征组降维比率为 47.37%，小于基于 RGB 和统计纹理相结合的特征组降维比率，说明前者的参数之间相关性更大，优化效果更好，更加适用于害虫分类;第 4 组特征没有得到优化，说明参数之间不具有相关性，并且对分类的贡献值相等。从第 5 组特征筛选结果分析可知，在优化后的参数集合中，R 通道的小波能量参数所占比例达到 54.5%，G 通道的小波能量参数所占比例为 27.27%，B 通道所占比例为最小。说明在基于 R/G/B 通道小波能量特征组的多姿态害虫分类中，R 分量的小波能量参数贡献值最大， G 分量次之，B 分量最小;从第 6 组特征优选结果可以看出，色调 H 和亮度 V 分量的小波能量参数所占比例相同，都约为 42.8%，大于 S 分量的小波能量参数所占比例，说明在该特征组合当中，H 分量和 V 分量的参数对分类的贡献相等，并且大于 S 分量。
2.2 识别分类结果
本文利用随机挑选的 240 个样本(每种害虫 60 个)训练模型，80 个样本(每种 20 个)进行识别分类测试。支持向量机分类器参数通过网格优化方法获得，最优参数 c，g 分别为 11.3137 和 0.707107。表 2 为不同的特征组合、特征向量维数优化前后害虫识别的平均准确率和建模时间，从表中可以看出，在识别准确率方面：除了第 4 组的平均识别准确率保持不变外，其他组合的平均准确率都得到了提高，而且准确率保持在 97%以上，尤其是第 6 组特征 F6 的识别率最高，准确率达到 100%，F2 和 F3 特征组合次之。第 4 组特征识别率保持不变和上述特征参数没有优化保持一致。
相关知识推荐：论文翻译服务算学术不端吗
在建模时间方面：每组的建模时间都得到了优化，F6 特征组合缩短最多，优化后建模时间仅约为 8 s，缩短比例达到了 74.5%。排在第 2 位和第 3 位的特征组合分别是 F3 和 F1，特征组 F4 的建模时间没有发生很大变化。在兼顾识别准确率和实时性 2 个指标的基础上，利用 DAG MSVM 多类支持向量机分类器进行多姿态害虫分类，F6特征组合是最好的特征选择，F3 特征组合次之。这也说明利用 HSV 颜色空间特征结合纹理特征能够达到更好的识别效果。
从表 3 中可以看出，桃蛀螟害虫基本上没有发生假阴性(把桃蛀螟识别为其他害虫种类)和假阳性(其他害虫种类识别为桃蛀螟)的现象，从图 2 中的桃蛀螟图像也可以说明这一点，桃蛀螟害虫翅膀上布满了黑斑点，图像纹理分布和其他 3 种害虫没有相似之处，具有更强的识别性;而粘虫、棉铃虫和地老虎之间存在误判的情况，且粘虫和棉铃虫之间这种现象更明显一些。以参数优化后误判相对来说较严重的特征组 F4为例，将发生误判的粘虫图像与极为接近的棉铃虫图像进行对比，并且比较他们之间的参数向量，发现发生误判的害虫之间的参数向量非常相似。图 5 所示为试验中 2 张误判为棉铃虫的粘虫图像和一张与上述 2 张粘虫图像相似的棉铃虫图像，它们对应的 F4 特征组参数如表 4 所示。增加训练样本可能能够解决这个问题，由于害虫的姿态存在多样性，要想减少相似害虫的误判，训练样本需要尽量包含更多的姿态。
2.3 讨论
然而本文也存在一定的局限性，本文采集的样本有限，训练样本中的害虫姿态基本包含了测试样本中的害虫姿态，所以整体的识别准确率都比较高。但是由于野外采集的害虫姿态远不止这些，单从害虫的某一视角去采集图像，而且采集的图像样本不是很大的情况，获取的害虫姿态信息有限。下一步的工作是对同一只害虫采集多个视角图像，从而增加样本的姿态样式覆盖率，提高野外应用的识别准确率。另一方面，本文研究的害虫对象只有 4 种，当害虫种类增多时，可能会出现更多的种间相似性，得出的结论需要进行进一步的验证和扩展。
3 结 论
1)在不影响识别率的情况下，除了基于灰度图像的所有小波能量特征组外，其他各组参数基本上都进行了大约 50%左右的优化，最多的达到了 61.11%。在特征属性方面，统计纹理特征组中，优化后特征均值参数所占比例达到了 62.5%，说明其对害虫分类的贡献值比标准差参数要大。与 RGB 结合统计纹理特征组相比，HSV 结合统计纹理特征组参数之间相关性更大，优化效果更好，更有利于多姿态害虫的分类。基于不同颜色空间三通道小波能量特征组优化对比可以看出，基于 HSV 空间的三通道小波能量特征组优化效果大于基于 RGB 空间的三通道小波能量特征组，说明在利用小波能量参数进行多姿态害虫图像分类过程中，采用 HSV 空间三通道特征组更佳。
2)利用多类支持向量机进行目标害虫分类发现，在平均准确率和建模时间两方面，基于 HSV 三通道的 2 层小波分解能量特征组，效果最好，参数优化后的识别率达到了 100%，建模时间只有大约 8 s。所以相对比来说，基于 HSV 三通道小波特征结合有向无环图的多类支持向量机分类器方法是一种最好的多姿态害虫分类方法。
本文的方法是针对采集到的有限的目标害虫姿态样本进行研究的，由于实际害虫的种类数量和害虫的姿态样式远不止这些，研究成果对实际精准的分类计数应用来讲还需要完善，下一步的工作将从多视角图像采集和多类害虫进行扩展研究。——论文作者：李文勇 1,2，李 明 2 ，陈梅香 2※，钱建平 2 ，孙传恒 2 ，杜尚丰 1
[参 考 文 献]
[1] 姚青，吕军，杨保军，等. 基于图像的昆虫自动识别与计数研究进展[J]. 中国农业科学，2011，44(14)： 2886-2899. Yao Qing, Lü Jun, Yang Baojun, et al. Progress in research on digital image processing technology for automatic insect identification and counting[J]. Scientia Agricultura Sinica, 2011, 44(14): 2886 - 2899. (in Chinese with English abstract)
[2] 张红涛，胡玉霞，赵明茜，等. 田间害虫图像识别中的特征提取与分类器设计研究[J]. 河南农业科学， 2008(9)：73-75. Zhang Hongtao, Hu Yuxia, Zhao Mingxi, et al. Feature extraction and classification in the image recognition for agricultural pests[J]. Henan Agriculture Science, 2008(9): 73-75. (in Chinese with English abstract)
[3] 张红涛，胡玉霞，刘新宇，等. 农田害虫实时检测装置的设计与实现[J]. 河南农业科学，2007(12)：63-65. Zhang Hongtao, Hu Yuxia, Liu Xinyu, et al. Design and implementation of real-time detection equipment for farm pests[J]. Henan Agriculture Science, 2007(12): 63-65. (in Chinese with English abstract)
[4] 张建伟. 基于计算机视觉技术的蝴蝶自动识别研究[D]. 北京：中国农业大学，2006. Zhang Jianwei. Automatic Identification of Butterflies Based on Computer Vision Technology[D]. Beijing: China Agricultural University, 2006. (in Chinese with English abstract)
[5] Watson A T, O'Neill M A, Kitching I J. Automated identification of live moths (Macrolepidoptera) using digital automated identification System (DAISY)[J]. Systematics and Biodiversity, 2004, 1(3): 287-300.
[6] Wang Jianning, Lin Congtian, Ji Liqiang, et al. A new automatic identification system of insect images at the order level[J]. Knowledege-Based Systems, 2012, 33: 102-110.
SCISSCIAHCI
