基于深度学习的联合多个通道产品缺陷分类方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 111709918 A(43)申请公布日 2020.09.25

(21)申请号 202010483651.6(22)申请日 2020.06.01

(71)申请人 深圳市深视创新科技有限公司

地址 518000 广东省深圳市南山区科技园

高新中一道2号长园新材5栋1楼(72)发明人 许琦　王立军　朱天同　潘勇　

莫仲念　刘飞月　(74)专利代理机构 深圳市中智立信知识产权代

理有限公司 44427

代理人 丁丽琴(51)Int.Cl.

G06T 7/00(2017.01)G06K 9/32(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)

权利要求书1页 说明书2页

(54)发明名称

基于深度学习的联合多个通道产品缺陷分类方法(57)摘要

本发明提供了一种基于深度学习的联合多个通道产品缺陷分类方法，包括：导入产品需要训练的每一通道图像，手动标注单个通道图像的缺陷位置区域和类型；设置训练参数，按模型尺寸对缺陷位置处进行裁切，生成单个通道小图；开始训练，待训练周期数达到设置值后自动结束训练，并保存验证集测试效果最佳的模型；导入事先准备好的检测和联合多通道分类模型，按固定尺寸和步长遍历图像所有区域，若检测模型判为缺陷，再将该产品对应的所有通道该区域的所有小图切出，进行联合多通道缺陷分类；汇总所CN 111709918 A有检测和联合多通道分类结果，将位置相近区域缺陷进行合并输出。本发明的算法通用性强，对比市面上一般深度学习单输入模式有很大进步和创新。

CN 111709918 A

权　利　要　求　书

1/1页

1.一种基于深度学习的联合多个通道产品缺陷分类方法，其特征在于，包括：步骤1，训练流程，包括：步骤11，样本准备阶段：导入产品需要训练的每一通道图像，手动标注单个通道图像的缺陷位置区域和类型，标注的缺陷自动映射到该产品同一位置处不同通道图像上；

步骤12，生成小图阶段：设置训练参数，主要包含训练模型尺寸大小、训练周期、每一通道小图样本个数等，按模型尺寸对缺陷位置处进行裁切，生成单个通道小图，并按缺陷类型及通道名称保存缺陷小图；

步骤13，将其中设置样本总数的80％用于训练，其余20％数量作为验证集，开始训练，待训练周期数达到设置值后自动结束训练，并保存验证集测试效果最佳的模型；

步骤2，实际检测流程，包括以下步骤：步骤21，导入事先准备好的检测和联合多通道分类模型；步骤22，按固定尺寸和步长遍历图像所有区域，若检测模型判为缺陷，再将该产品对应的所有通道该区域的所有小图切出，进行联合多通道缺陷分类；

步骤23，汇总所有检测和联合多通道分类结果，将位置相近区域缺陷进行合并输出。2.根据权利要求1所述的基于深度学习的联合多个通道产品缺陷方法，其特征在于，每个通道图像是在相机不同角度、和同一光源不同角度、和不同光源打光的等各种上组合变化的情况下，对产品进行打光及图像采集而获得的图像。

2

CN 111709918 A

说　明　书

基于深度学习的联合多个通道产品缺陷分类方法

1/2页

技术领域

[0001]本发明涉及缺陷检测领域，特别涉及一种基于深度学习的联合多个通道产品缺陷分类方法。

背景技术

[0002]工业生产现场，一般对于产品缺陷类别要求较高的产品，缺陷检测设备需要相机和多种光源不同角度对产品进行打光及图像采集，同一产品在同一位置处不同光源打光下成像效果也各不相同，相较于一般的深度学习方法，需要收集所有光源呈现缺陷的图像进行训练分类，此类方法会出现同一类型缺陷在不同光源下最终的分类结果也各不相同，所以会导致缺陷最终分类结果不稳定。

发明内容

[0003]本发明提供了一种基于深度学习的联合多个通道产品缺陷分类方法，以解决至少一个上述技术问题。

[0004]为解决上述问题，作为本发明的一个方面，提供了一种基于深度学习的联合多个通道产品缺陷分类方法，包括：[0005]步骤1，训练流程，包括：[0006]步骤11，样本准备阶段：导入产品需要训练的每一通道图像，手动标注单个通道图像的缺陷位置区域和类型，标注的缺陷自动映射到该产品同一位置处不同通道图像上；[0007]步骤12，生成小图阶段：设置训练参数，主要包含训练模型尺寸大小、训练周期、每一通道小图样本个数等，按模型尺寸对缺陷位置处进行裁切，生成单个通道小图，并按缺陷类型及通道名称保存缺陷小图；[0008]步骤13，将其中设置样本总数的80％用于训练，其余20％数量作为验证集，开始训练，待训练周期数达到设置值后自动结束训练，并保存验证集测试效果最佳的模型；[0009]步骤2，实际检测流程，包括以下步骤：[0010]步骤21，导入事先准备好的检测和联合多通道分类模型。[0011]步骤22，按固定尺寸和步长遍历图像所有区域，若检测模型判为缺陷，再将该产品对应的所有通道该区域的所有小图切出，进行联合多通道缺陷分类；[0012]步骤23，汇总所有检测和联合多通道分类结果，将位置相近区域缺陷进行合并输出。

[0013]其中，每个通道图像是在相机不同角度、和同一光源不同角度、和不同光源打光的等各种上组合变化的情况下，对产品进行打光及图像采集而获得的图像。[0014]在上述技术方案中，本发明在模型训练之前先人工手动标注单个通道的缺陷位置区域，然后根据标注的缺陷映射该产品对应的每一通道相同位置处缺陷，再按固定步长和固定大小对图像进行裁剪，再根据实际需要将其中需要训练的通道图像作为输入，最终会生成一个用于现场的联合多通道分类模型。因此，本发明的算法通用性强，对比市面上一般

3

CN 111709918 A

说　明　书

2/2页

深度学习单输入模式有很大进步和创新，分类阶段现场实际判别准确率可达99.99％，速度比多个通道单输入模式快一倍。

具体实施方式

[0015]以下对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

[0016]针对背景技术中提及的问题，本发明结合实际现场情况已开发出一种基于深度学习联合多个通道(不同光源成像)自动进行缺陷分类方法，整体分类准确率会比一般的深度学习高10％左右，分类的结果稳定性也比之前高，目前已成功应用在工业手机玻璃缺陷检测分类领域。

[0017]本发明提供了一种基于深度学习的联合多个通道产品缺陷分类方法，包括：[0018]1.训练流程：[0019]步骤1：样本准备阶段，导入产品需要训练的每一通道图像，手动标注单个通道图像的缺陷位置区域和类型，标注的缺陷自动映射到该产品同一位置处不同通道图像上。[0020]步骤2：生成小图阶段，设置训练参数，主要包含训练模型尺寸大小、训练周期、每一通道小图样本个数等，按模型尺寸对缺陷位置处进行裁切，生成单个通道小图，并按缺陷类型及通道名称保存缺陷小图。[0021]步骤3：将其中设置样本总数的80％用于训练，其余20％数量作为验证集，开始训练，待训练周期数达到设置值后自动结束训练，并保存验证集测试效果最佳的模型。[0022]2.实际检测流程：[0023]步骤1：导入事先准备好的检测和联合多通道分类模型。[0024]步骤2：按固定尺寸和步长遍历图像所有区域，若检测模型判为缺陷，再将该产品对应的所有通道该区域的所有小图切出，进行联合多通道缺陷分类。[0025]步骤3：汇总所有检测和联合多通道分类结果，将位置相近区域缺陷进行合并输出。

[0026]在上述技术方案中，本发明在模型训练之前先人工手动标注单个通道的缺陷位置区域，然后根据标注的缺陷映射该产品对应的每一通道相同位置处缺陷，再按固定步长和固定大小对图像进行裁剪，再根据实际需要将其中需要训练的通道图像作为输入，最终会生成一个用于现场的联合多通道分类模型。因此，本发明的算法通用性强，对比市面上一般深度学习单输入模式有很大进步和创新，分类阶段现场实际判别准确率可达99.99％，速度比多个通道单输入模式快一倍。

[0027]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

4