硅胶颗粒中杂质在线识别方法研究及剔除装置设计

云宏霞; 贾天代; 刘思杰; 梅宁; Yun Hongxia; Jia Tiandai; Liu Sijie; Mei Ning

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

硅胶颗粒中杂质在线识别方法研究及剔除装置设计 PDF

云宏霞 ¹
贾天代 ²
刘思杰 ¹
梅宁 ¹

1. 中国海洋大学工程学院，青岛，266100； 2. 温州大学机电工程学院，温州，325035

中图分类号： TN919.5

发布日期：2019-10-17

DOI：10.16337/j.1004-9037.2019.05.019

摘要

为了实现硅胶颗粒中杂质的自动剔除，提出杂质识别算法，并设计了自动化的杂质剔除装置。首先通过摄像机实时采集硅胶散料图像，利用Visual C++ 结合OpenCV将图像进行预处理、形态学运算及边缘检测等过程，将杂质识别定位。然后基于RS⁃232通讯协议实现与单片机通讯，传递杂质的位置信息，控制相应的剔除机构动作，最终实现硅胶与杂质的分离。经验证，本系统能够有效地对杂质进行识别和剔除，其剔除率达到95%，满足设计要求。本装置采用了“分区域剔除算法”结合“高压气体”的方式进行杂质剔除，具有动作响应快、剔除精度高的优点，有效提高生产效率，降低生产成本。

关键词

机器视觉; 杂质剔除装置; 分区域剔除算法：硅胶颗粒

引言

随着工业水平的提高，硅胶因其化学性质稳定在工业生产和科学研究中有广泛的应用^[

1]。但是硅胶在生产制备和运输过程中时常会混入一些杂质，严重影响了产品质量。因此剔除硅胶中的杂质成为生产过程中的必要环节。目前在硅胶生产行业中，大部分采用人工除杂的方式，不仅效率和准确性低，而且浪费了大量的人力资源。因此开发基于机器视觉的自动化杂质检测与剔除装置十分必要。

机器视觉检测技术已经广泛地运用于各领域，如烟草除杂^[

2]、玉米品种鉴定^{[参考文献 3
查找原文}3]、水果分级^{[参考文献 4
查找原文}4]、大豆检测^{[参考文献 5
查找原文}5,6]和医学图像分类^{[参考文献 7
查找原文}7]等，经过图像灰度化、滤波和边缘检测等过程，达到检测和识别的目的。利用烟草与异物在颜色和纹理的差异，实现烟草与异物的分离。根据玉米种子几何特征和颜色特征参数建立多目标几何模型对玉米种子进行分类。通过采集水果的大小、色斑、茎位置及存在瑕疵等特征，实现水果分类和分级。在大豆检测中以 RGB 颜色空间各分量色度值为提取特征，拟合正态分布概率密度函数作为判别基准识别豆子优劣。在医学领域中运用图像边缘检测和支持向量机的方法进行医学图像分类。但是硅胶散料与上述物体的颜色属性和形态不同，因此上述方法和装置并不适用于硅胶除杂，需要对现有的方法进行简化和改进，以达到硅胶与杂质相互分离的目的。

本文将硅胶中的杂质作为研究对象，进行工业散料杂质在线检测和剔除装置的设计。文中主要介绍了图像预处理过程，阐述了杂质定位方法在系统检测软件中的设计与实现，以及样机的设计制作过程。根据硅胶和杂质的特征分析，对设计的识别方法及样机进行实验，验证其可行性。

1 硅胶杂质识别与剔除系统设计

工业硅胶散料分为“块状”和“球形”两种，选取混合杂质的“块状”工业硅胶散料进行实验，对硅胶散料中的杂质进行识别与剔除。如图1所示，工业硅胶散料呈大小不一的白色颗粒（其最大边长为20 mm,体积约为1 cm³,质量约为0.4 g），混合的杂质主要为黑色铁屑和运送管道的棕色漆皮，其边长为3~10 mm。其中，杂质约占硅胶的1%。

图1 方形硅胶与杂质

Fig.1 Square silicon and impurities

由于硅胶颗粒与杂质颜色、物性等属性不同，经过对颜色的处理，硅胶与杂质的灰度值差异明显，利用此原理作为硅胶与杂质分选的判别方法，将杂质识别出来。以此设计硅胶杂质检测识别和剔除系统，达到速度为1 m/s，剔除率（剔除杂质与杂质总数的比值）为90%的目标。实现硅胶颗粒剔除的自动化，从而提升杂质剔除效率、提高硅胶产品的质量。

PC机采用酷睿i7⁃8550U的处理器，其主频为1.8 GHz，配备8 GB的DDR4运行内存。系统选用深圳宏晶公司生产的STC89C52RC单片机，搭配11.059 2 MHz的晶振作为时钟信号源，采用RS⁃232接口进行串口通信。以传送机作为杂质剔除系统的输送系统，传送带尺寸为：长1 000 mm，宽400 mm；传送机的运行速度在0~4 m/s范围内无级可调。采用LED提供光源，利用挡板将硅胶散料平铺在传送带上，尽可能避免硅胶颗粒对杂质的遮挡。

如图2所示，为了实现硅胶杂质在线识别与剔除杂质的功能，该系统主要由输送系统、杂质识别系统、执行系统组成。利用摄像机对输送系统传送带上的工业散料进行拍摄，提取图像信息。将采集到的图像信息利用图像采集卡转换为数据格式并传输至计算机内存中进行图像识别处理，处理器根据硅胶和杂质颜色特征参数的差异，得出灰度值，识别出硅胶和杂质。对硅胶和杂质进行识别后，将表示杂质位置的信号传输至单片机，经单片机处理后控制相应的电磁阀动作，完成对杂质的剔除，其具体工作流程如图3所示。

图2 硅胶杂质在线识别与剔除系统结构与样机实物图

Fig.2 Structure of the system for online identification and removal of silicon impurities and the prototype

图3 硅胶杂质识别与剔除系统工作流程图

Fig.3 Flow chart of the system for online identification and removal of silicon impurities

2 硅胶的识别原理及定位

硅胶图像采集使用深圳市金扬世纪科技发展公司生产的型号为TTQ⁃JJ2的CMOS高清摄像机，镜头焦距从5~50 mm可调节，其对焦距离（摄像头镜片中心与传送带的垂直距离）为 400 mm，最大分辨率为 $1 920 像素 \times 1 080 像素,$ 在本文中拍摄分辨率为 $640 像素 \times 480 像素$ 的图像并保存至PC机中，其原始图像如图4所示。利用Visual C++ 结合OpenCV进行图像处理，将杂质识别出来。为了将硅胶散料中的杂质剔除，摄像机使用之前还需要标定，将图像坐标系与世界坐标系统一，以便于对杂质精准定位并剔除。

图4 硅胶散料原始图像

Fig.4 Original image of silicon particles

2.1　硅胶图像预处理

摄像机获取的硅胶彩色图像，包含信息较多，影响计算机的处理速度，难以满足在线识别和剔除的实时性。因此，在实际应用中，需要将图像中噪声和冗余信息去除，提取图像中的特征信息，提高图像处理速度。为了能够突出杂质的物理信息、减少计算量，采用工业标准灰度化的处理方法^[

8]，将图像按照人眼视觉特点进行图像灰度化。首先将彩色图像中每个像素点提取出来，由于RGB 3种颜色对灰度的贡献度不同^{[参考文献 9
查找原文}9]，按照特定的混合方法，计算出图像的灰度值

$G_{g r a y}$ ，满足关系式(1)，其结果如图5(a)所示。

$G_{g r a y} = 0.300 8 R + 0.585 9 G + 0.113 3 B$

(1)

图5 硅胶散料图像预处理

Fig.5 Pretreatment of silicon particles image

为了使杂质与硅胶的背景分离出来，在灰度化基础上采用图像二值化算法^[

10]。通过改变阈值T，使整个图像呈现只有黑和白的视觉效果^{[参考文献 11
查找原文}11]，其计算原理为

$f (x) = \{\begin{matrix} 0 G_{g r a y} < T \\ 255 G_{g r a y} \geq T \end{matrix}$

(2)

式中：f(x)为二值化后图像灰度值； $G_{g r a y}$ 为灰度值；T为设定的阈值。根据如图6所示的硅胶和杂质灰度直方图，可确定阈值T的范围。分析图6可得：图中存在两个波峰，峰值较低的峰为杂质，峰值较高的峰为硅胶颗粒。因此确定阈值T范围为72~117，在实验中以杂质检出率为目标，手动在阈值范围内取值，最终确定最佳阈值T=110,得到如图5（b）所示的二值图。

图6 硅胶散料灰度直方图

Fig.6 Grayscale histogram of silicon particles

在图像采集的过程中，由于光线照射、设备本身振动等原因，致使二值化的图像中产生较多的散粒噪声，即图5(b)边缘的黑色小斑点，会对后面的计算过程产生干扰。因此在进行滤波时，采用对去散粒噪声效果好又能保持图像细节的中值滤波的方法^[

11]。其滤波操作表示为

$g (x, y) = \overset{m}{\sum_{s = - m}} w (s, t) \overset{n}{\sum_{t = - n}} f (x + s, y + t)$

(3)

式中：w为滤波器的模板；s和t为窗口；m和n为模板的长和宽。

在中值滤波中，根据其所选窗口大小的不同则其滤波效果不同，如图7所示。由图7(a—c）可以看出，滤波窗口过小，噪声不能完全剔除；滤波窗口过大，在消除噪声的同时，杂质信息变得模糊不清。根据实验结果可得， $3 \times 3$ 窗口的滤波可以有效滤除噪声，同时可以保持图像中的细节边缘^[

12,13]。

图7 硅胶散料图像去噪

Fig.7 Denoised image of silicon particles

2.2　杂质识别与定位

为了实现对目标像素点的扩展或消除，达到恢复原貌的目的，通常采用形态学运算。形态学运算基本操作包括膨胀和腐蚀^[

14]，主要对二值图的边界添加或者去掉像素点，可以消除大部分的噪声又可以较好保留细小的运动目标。经过形态学运算后就可以减少硅胶杂质的误判^{[参考文献 15
查找原文}15,16]。其形态学处理结果如图8(a)所示。

图8 杂质识别与定位

Fig.8 Identification and positioning of impurities

图像在进行形态学腐蚀操作之后，还需要判断硅胶和杂质的接触边缘，将其与硅胶边缘分离出来。本文采用Canny边缘检测的方法，此方法检测定位准确，既能减少边缘点丢失又能避免检测错误，且运算速度较快^[

17]。其硅胶的检测结果如图8(b)所示。

通过边缘检测可以提取到杂质的特征，并根据边缘线计算出杂质的最大外接矩形，从而计算出杂质的形心，获得杂质的坐标信息。其计算原理为

$x_{n} = \frac{\sum_{X, Y \in R} X (X, Y)}{\sum_{X, Y \in R} g (X, Y)}$ ,

$y_{n} = \frac{\sum_{X, Y \in R} Y (X, Y)}{\sum_{X, Y \in R} g (X, Y)}$

(4)

式中： $g (X, Y)$ 表示像素点 $(X, Y)$ 的灰度值；第 $n$ 个目标的形心位置为 $(x_{n,} y_{n}$ )。图8(c)为杂质的外接矩形图。

3 硅胶杂质剔除

假定摄像机视场的有效面积为S₁（ $32 c m \times 24 c m$ ），其沿传送带运动方向的边长为X（ $24 c m$ ），设定传送带的运动速度V。为了避免重判和漏判现象，相邻两张照片的时间间隔可以表示为 $T = X / V$ 。然而考虑到传送机采用皮带传送，存在“打滑”的现象，致使两张照片之间存在一定的重合量 $∆ X 。$ 因此，实际拍摄时间为

$T' = \frac{X + ∆ X}{V}$

(5)

当重合量 $∆ X$ 大于或等于杂质的最小边长3 mm时，会出现重判的现象。所以，为了避免重判现象，误差 $∆ X$ 必须小于杂质最小边长3 mm。

由于图像采集区域与杂质剔除区域之间存在一定的距离，导致杂质识别与剔除两个动作之间存在时间差。因此需要增加延时算法，保证杂质剔除的准确性。为了清晰地表述杂质的定位和延时方法，以图9加以说明。

图9 杂质定位与延时算法示意图

Fig.9 Schematic diagram of location and delay algorithm of impurity

假设剔除装置设置i个喷嘴，那么相应地将摄像机视场S₁沿y轴方向划分为i（y₀,y₁,…,y_i）个区间，使每一个喷嘴“负责”将相应区域内的杂质剔除。由于剔除装置所需要的喷嘴数量与传送带的宽度有关（所有喷嘴出气口宽度总和等于传送带宽度），因此本装置设置7个喷嘴，恰好满足传送带宽度要求。首先根据图像识别出杂质的位置纵坐标 $y_{n}$ ，利用式(6)判断杂质所属区域。

$y_{i - 1} < y_{n} \leq y_{i} i = 1,2, 3, \dots$

(6)

然后根据图像识别出杂质的位置纵坐标 $x_{n}$ ，利用式(6)计算出延时时间 $t$ ，使相应的喷嘴经过时间 $t$ 后精准地将杂质剔除。

$t = \frac{L + X - x_{n}}{V}$

(7)

式中：t为延时时间；L为视场后边缘到传送带末端的距离。

4 剔除实验与分析

实验采用压力为3 kPa的高压气体，用于杂质的剔除。硅胶散料是由输送系统作为动力来源，依次经过挡板匀散、图像处理识别、定位剔除等过程。当传送带以速度 $V$ 运行，假设硅胶铺设充满传送带的宽度为 $D$ ，密度为 $ρ$ ，那么每秒钟所处理的硅胶的质量可以表示为 $M = ρ V D$ 。结合工作时间，可以计算处理硅胶散料的产量。

将摄像头置于硅胶颗粒的上方，当传送机正常运行时，获取实时硅胶散料图像传递至上位机软件。经验证，处理一张图片的最大耗时为 $t_{m a x} = 67 m s$ ,则传送带的理论最大运行速度可以表示为

$V_{m a x} = \frac{X}{t_{m a x}}$

(8)

当整体系统工作时，只要保证传送带运行速度 $V < V_{m a x}$ 即可。速度过大将影响系统稳定性，例如振动使图像不清晰等。

将混合有300颗杂质的1 kg硅胶散料（其杂质含量远大于实际）在硅胶识别与剔除装置上进行杂质剔除实验，验证装置的可靠性。设定传送机的速度 $V = 0.5,1.0,1.5,2.0,2.5,3.0$ m/s，使硅胶散料在每一种速度下运行5次，统计未剔除掉的杂质数量，并计算出剔除率的平均值。

如图10所示，当硅胶输送系统的速度 $V \leq 1.5 m / s$ 时，硅胶散料中的杂质剔除率大约为95%。此时杂质的剔除率由两方面决定：（1）在实验过程中，一些体积较小的杂质被硅胶颗粒覆盖，导致检出率降低；（2）由于剔除机构的相邻喷嘴之间并不能做到无缝连接，没有形成交叉重合部分，导致杂质不能被分离，导致杂质检出后的剔除率降低。然而当速度 $V > 1.5 m / s$ ，硅胶散料中的杂质剔除率与速度呈现负相关性。这是因为目前传动机从电动机到滚筒采用的是链传动，其缓和冲击、吸收振动的作用不明显，导致剔除装置出现了明显的振动现象。振动会导致摄像机获取图像质量降低，使得图像中杂质的识别率降低，出现漏判现象。而且振动使得识别出的杂质发生“移位”，导致剔除精度降低。此外，速度过大还会导致处理器在短时间内处理的数据量过多，使处理器处于“超负荷”工作状态。因此，为了满足设计要求、精准剔除杂质，需将输送系统速度控制在 $1.0 m / s \leq V \leq 1.8 m / s$ 范围之内。

图10 硅胶输送系统速度对杂质剔除率的影响

Fig.10 Influence of speed of silicon conveying system on impurity removal rate

5 结束语

本文通过处理硅胶散料图像识别硅胶散料中的杂质，并计算其形心坐标，再利用高压气体将杂质剔除。经验证，硅胶杂质剔除装置能够有效地对杂质进行剔除，其剔除率达到95%。提出“分区域剔除算法”能够降低计算机数据处理“负担”，提高除杂效率。与传统的机械手精准剔除异物的方法相比，“分区域剔除算法”结合“高压气体除杂”的方式具有更快的响应速度、更低的制造成本、更高的生产效率。但是该方法不可避免地在剔除杂质的同时会带走正常的硅胶颗粒，需要合理优化分区域数量，减少对正常硅胶颗粒剔除。同时将链传动改为同步带传动可以提高装置的稳定性，降低装置在高速运行时的振动；采用面光源提供光照，使光线更均匀，提高杂质的剔除率。

参考文献

程燕茹, 王玉曌, 蒋南飞, 等. 硅胶的发展现状及应用[J]. 化学工程师, 2014, 28(9): 36⁃39, 51.

Cheng Yanru, Wang Yuzhao, Jiang Nanfei, et al. Development status and application of silica gel [J]. Chemical Engineer, 2014, 28(9): 36⁃39, 51.

Liu X, Wang Y, Su Q, et al. Study on identification system of maize seeds varieties based on machine vision[J]. IFIP Advances in Information & Communication Technology, 2009, 295: 2207⁃2216.

杨福刚, 孙同景, 宋松林. 基于DSP的大输液异物实时灯检系统设计[J]. 自动化仪表, 2008, 29(8): 22⁃25.

Yang Fugang, Sun Tongjing, Song Songlin. Design of DSP⁃based real⁃time rare object detection system for infusion drugs [J]. Automatic Instrument, 2008, 29(8): 22⁃25.

Blasco J, Aleixos N, Moltó E. Machine vision system for automatic quality grading of fruit[J]. Biosystems Engineering, 2003, 85(4): 415⁃423.

马姝琳. 大豆等农产品在线检测技术[D].重庆: 重庆大学, 2006.

Ma Shulin. Online detection technology for soybeans and similar agricultural products [D]. Chongqing: Chongqing University, 2006.

Lee D J, Schoenberger R, Archibald J, et al. Development of a machine vision system for automatic date grading using digital reflective near⁃infrared imaging[J]. Journal of Food Engineering, 2008, 86(3): 388⁃398.

沈健, 蒋芸, 张亚男, 等. 基于边缘检测的多类别医学图像分类方法[J]. 数据采集与处理, 2016, 31(5): 1028⁃1034.

Shen Jian, Jiang Yun, Zhang Yanan, et al. Multi⁃class medical image classification approach based on edge detection [J]. Journal of Data Acquisition and Processing, 2016, 31(5): 1028⁃1034.

伍春艳.节能监测中直显式仪表图像识别系统的研究及开发[D].青岛：中国海洋大学, 2015.

Wu Chunyan. Research on image identification system of direct display instrusment in energy⁃saving monitoring [D]. Gingdao：Ocean University of China, 2015.

周金和，彭福同. 一种有选择的图像灰度化方法[J].计算机工程, 2006, 32(20): 198⁃199.

Zhou Jinhe, Peng Futong. A method of selective image graying method [J]. Computer Engineering, 2006, 32 (20): 198⁃199.

吴一全，孟天亮，吴诗婳. 图像阈值分割方法研究进展20年（1994—2014）[J]. 数据采集与处理, 2015, 30(1): 1⁃23.

Wu Yiquan, Meng Tianliang, Wu Shihua. Research progress of image thresholding method in recent 20 years (1994—2014) [J]. Journal of Data Acquisition and Processing, 2015, 30 (1): 1⁃23.

黄越, 郭山红, 陈文鼎, 等. 基于视频图像的输液滴速实时监测系统[J]. 数据采集与处理, 2013, 28(5): 685⁃690.

Huang Yue, Guo Shanhong, Chen Wending, et al. Real⁃time medical infusion monitoring system based on video image [J]. Journal of Data Acquisition and Processing, 2013, 28(5): 685⁃690.

李伟, 王伯雄, 王雪, 等. 一种基于安瓿检测的快速图像配准方法的实现[J]. 电测与仪表, 2010, 47(7): 5⁃8.

Li Wei, Wang Boxiong, Wang Xue, et al. A fast image registration method applied in ampoule detection [J]. Electrical Measurement & Instrumentation, 2010, 47(7): 5⁃8.

赵猛, 张化祥, 刘丽．基于颜色和边缘方向的图像检索方法[J].数据采集与处理，2016，31(3): 577⁃583．

Zhao Meng, Zhang Huaxiang, Liu Li. Image retrieval method based on color and edge direction[J]. Journal of Data Acquisition and Processing, 2016, 31(3): 577⁃583．

陈文涛. 烟草异物在线高速模式识别与剔除技术研究[D].重庆: 重庆大学, 2003.

Chen Wentao. Research on tobacco foreign material online high⁃speed pattern recognition and eliminate technique [D]. Chongqing: Chongqing University, 2003.

蔡健荣, 李玉良, 范军, 等. 成熟柑橘的图像识别及空间定位研究[J]. 微计算机信息, 2007, 23(34): 224⁃225, 314.

Cai Jianrong, Li Yuliang, Fan Jun, et al. Image recognition and three⁃dimensional location of mature oranges from nature scene[J]. Microcomputer Information, 2007, 23(34): 224⁃225, 314.

Piron A, Heijden F V D, Destain M F. Weed detection in 3D images[J]. Precision Agriculture, 2011, 12(5): 607⁃622.

闫如忠,林宇超. 面向智能除草机植株图像识别及根部定位测量系统[J]. 机床与液压, 2015, 43(15): 126⁃130.

Yan Ruzhong, Lin Yuchao. Plant image recognition and root positioning measurement system for intelligent weeder [J]. Machine Tool & Hydraulics, 2015, 43(15): 126⁃130.

您是本站第访问者

通信地址：南京市御道街29号南京航空航天大学(明故宫校区)

邮编：210016 传真：025-84892742

电话：025-84892742 E-mail：sjcj@nuaa.edu.cn

技术支持：北京勤云科技发展有限公司