人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，是计算机科学的一个分支，该领域的研究主要包括机器人、语言识别、图像识别、自然语言处理、仿真系统和专家系统等。当人们谈及人工智能时，机器学习（ML，Machine Learning）、深度学习（DL，Deep Learning）、深度神经网络（DNN，Deep Neural Network） 、卷积神经网络（CNN，Convolutional Neural Network）等概念常被提到。AI是人们追求的目标，机器学习是实现AI的主要途经，常用的机器学习算法有线性回归、逻辑回归、集成方法、支持向量机、神经网络和深度学习等，机器学习根据是否有数据标签又可分为监督学习、半监督学习、非监督学习、强化学习、结构化学习和迁移学习。深度学习是机器学习中最常用的一种算法，尤其对计算机视觉的应用，深度神经网络是模仿人脑机制的一套深度学习方法。下面将分别讨论深度、卷积、神经网络。

卷积运算的定义：卷积运算广泛应用于信号与线性系统、数字信号处理和图像处理等系统中，从数学的定义（公式1）来讲，卷积就是一个函数（单位响应或卷积核）在另一个函数（输入信号）上的加权叠加。

在计算机视觉领域中，卷积核定义了某种模式，卷积运算是在计算每个位置与该模式的相似程度，当前位置与该模式越像，响应越强。卷积核通常为较小尺寸的奇数行列矩阵，数字图像是相对较大尺寸的2维（多维或者多通道特征图）矩阵，作卷积运算时，以滑动窗口的形式，从左至右、从上至下，每个通道的对应位置相乘求和。若将卷积核看成权重（Weight），并拉成向量记为w，图像对应位置的像素拉成向量记为x，则该位置卷积结果可表示为公式（2），即向量内积+偏置(Bias)。

以上是从函数的角度来理解卷积运算，下面通过两个熟悉的应用实例来进一步说明。图1是早期AOI采用的形态学检测逻辑，预设好的检测模版矩阵（卷积核）在扫描图像上滑动，当图形满足模版所定义的特征时，则会生成相应的特征信息，再与标准图形的特征信息进行比较来找出缺点位置。根据缺陷点形态的不同，AOI需要定义不同的检测逻辑（模版矩阵），如T、Y、L、K和H等，AOI工程师需要不断迭代优化检测模版矩阵的参数，好的卷积核设计，将产生好的检测结果。图2是图像处理中常用的高斯图像平滑，可以看到右边经过处理后的图像的灰度值分布更加均匀，图像中的噪点被平滑过滤。卷积运算运用的关键在于卷积核的设计，在图像处理中主要作用是：图像预处理和特征提取，得到的特征图像输出到下一个环节进行分析和理解。

神经网络，是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型，也是一种受生物学启发的编程范式，可以让计算机对观测数据进行学习，找出解决问题的优化途径。人工神经网络吸取了生物神经网络两个极为重要的概念——计算单元和连接权重。接下来，以大家熟悉的“AOI设备评估”的例子来理解神经元的工作方式。

假设：某PCB厂商需要采购AOI设备，AOI工程师通常会按以下因素来决定是否购买某供应商的AOI设备：检测能力、假点率、材料和制程的适应性、操作简易性和产能等。这些评估项目并未按权重排列，不同的PCB厂商的关注点不同，其权重设置也不同，比如A厂商生产高端产品，且材料特殊、制程复杂，其会对检测能力和适应性设置高的权重值；而B厂商生产中低端产品，其可能会关注操作简易性和扫描速度。哪些项目（或称为输入、预测因子、特征，这些是机器学习中的概念）需要用于评估，要根据各自的实际情况而定，这个过程就是特征提取或特征工程。将上述评估项目及相应的权重值作为输入代入图3的神经元模型，即可根据上述线性函数 计算得到相应的特征值，再经过非线性激活函数得到0到1（或-1到1）之间的某个数，从而模拟实现生物神经元的逻辑运算。随着权重和偏置的变化，可以得到不同的决策模型。在深度学习中，权重w和偏置b由数据驱动得来，而权重和偏置就是卷积核的参数。

图3：神经元模型

如果将每一个神经元的输出模拟生物神经网络连接到下一个神经元的输入，即可组成人工神经网络(见图4)。上例中的评估项目“假点率”的输入，由上一级神经元的输出决定，为了预测结果，需要根据上一级神经元的输入和连接权重进行决策，如：①是否采用多重分区的侦测引擎来过滤非关键区域的非关键缺点；②是否采用全光谱光源确保获取清晰的图像；③是否采用非接触式线性马达保证被测物体平稳移动以至于获取到稳定的图像等。

深度学习，是一个强有力的用于神经网络学习的众多学习算法的集合。从广义上讲是求解输入与输出关系的过程，从狭义上讲是求解神经元的权重和偏置的过程。神经网络按照输入层、隐藏层和输出层根据网络类型进行连接即组成深度神经网络，隐藏层的层数和功能模块决定神经网络的深度和类型，如FNN、CNN、RNN和GAN等。深度学习的过程就是先将训练集带标签的数据输入到神经网络，经过每层神经网络处理后，以达到输出结果与期望值的误差最小化，即损失函数最小化（损失函数通常被用来衡量实际行为和期望行为的偏差），其过程主要是通过前向传播、BP算法、损失函数来迭代更新权重和偏置。在神经网络训练过程中经常会遇到梯度消失或者梯度爆炸、训练太慢和过拟合的问题。课题太大，在此不深入讨论。

图4：神经网络模型

人工智能系统主要由三部分组成：①信息输入。通过各种传感设备来感知动态变化的物理世界，从而获取大量数据；②决策处理。将获取到的大量数据应用于机器学习得到的模型进行推理、预测或决策；③执行输出。根据推理或预测的结果来执行相应的动作。简而言之就是对大量输入的数据通过回归、集成等机器学习算法来建立预测模型，将建好的模型应用到实际的数据集以得到预测结果。AI已广泛应用于金融、医疗、教育、公安、交通、通信、农业、气象以及服务业等领域，表1列出部分常见的AI应用场景。

前面简单介绍了AI人工智能的基本概念，并提到AI中常用的计算机视觉算法，这些视觉算法在AOI中也被广泛应用。AOI自动光学检测是由人工目视演变而来，工作原理为：首先通过视觉算法在标准的CAM资料上“学习”到所需的图像特征信息，然后在每一块PCB的扫描图像上利用在训练集上学习好的模型进行特征提取，得到的特征图像与标准资料进行对比，根据给定规则（检测标准）报告出需要检测的问题点。AOI既然作为机算机视觉的典型应用，就有与计算机视觉相同的难点。

成像过程的信息损失：当人试图理解一幅图像时，以前的经验和知识就会用于目前的观察，人理解图像的过程通常在无意识间就完成了。而计算机视觉需要涉及到数学、模式识别、人工智能、心理生理学、计算机科学、电子学以及其他学科领域的结果和方法。所以，对于AOI来说，由于3D的PCB板场景投射到2D空间里损失了许多的信息，特别是深度信息，诸如光照、材料特性、朝向和距离等信息都反映成唯一的测量值——灰度值。同一个2D平面的投影可能由无限种可能的3D场景投影产生的，因而从2D到3D的逆过程是一个病态过程，或称不适定性问题，观测数据不足以约束问题的解，因此要利用先验知识或引入合适的约束。比如在AOI检测中，常遇到扫描图像上为开路（2D图像），而实际上可能是真的开路，抑或是线路上的氧化点、残胶、灰尘（3D场景）……

图像遮挡：在计算机视觉中所说的图像遮挡通常是指光线遮挡、实物遮挡、自遮挡或混合遮挡，由于图像遮挡不仅丢失了部分目标信息，而且引入了额外的干扰。AOI中的遮挡是指真实的缺点被异物遮挡（见图5），此短路被黏性异物盖住，用工具清洁后可见少许底铜，但无法完全清除异物，需要采用纤维擦擦拭。所以，AOI无法通过灰度变化判断异物下是否有真缺点。

局部窗口与全局视图：通常图像分析算法要分析操作的是存储器中的特别存储单元（图像中的一个像素）和其相邻的单元，仅从局部来看或只有一些局部小孔可以获得图像时，解释一幅图像通常是非常困难的。AOI根据不同的解析度扫描指定宽度，并分割成指定大小的图像块进行处理，所以AOI的检测算法也是局部分析处理的，不会像E-Test那样加入PCB网络分析，只有在逻辑处理中会加入辅助层来进行功能性分析。

作为PCB制造中品质控制的关键工序，AOI工序中，检修机上的确认过程需要较多的人工参与，操作人员需要按假缺点、修理缺点、报废缺点进行分类，并在板上做相应的修理或标记动作，同时记录品质报表。在这些环节中，如何提高生产效率、降低生产成本（尤其是劳动力成本）以及减少人为因素造成的品质异常（搬运过程中的擦花、确认过程中的误判和漏判等）是行业关心的问题。

如前所述，AI技术的应用是希望可以用简单实用的方法解决实际问题，不像如今的智能照明，传统照明只需简单按一下开关就可以开/关灯，智能照明需要拿出手机打开App，开启灯光并调节颜色亮度或者通过语音控制，过程反而变得更加繁琐。在将AI技术整合到AOI检测的过程中，需要避免类似为了AI而AI的行为，而是要形成一整套有价值的方案。下面分成上下料、AOI检测和CVR确认三部分讨论。

上下料包括AOI和检修机的上下料，越来越多的厂商已经在实施传输带、机械手臂等自动化方案，以提高效率和减少人力成本，在AOI扫描机和检修机之间的料件传输也在考虑采用AGV小车。如果上下料采用智能机器人，则需要评估智能机器人的成本和效率。

主要包括AOI设备操作和逻辑运算两部分，AOI应用系统已经简化了各项操作（料号调取、对位、光校正和应用设定），基本实现一键式操作。部分厂商采用扫描二维码的方式来调取需要扫描的料号以确保快速准确。因此就目前情况看，AOI的操作过程暂时无需AI技术优化。如果强制采用视觉系统或语音识别系统来操作AOI系统，整个过程反而会变得更加复杂。AOI的检测逻辑经过多年的迭代和优化，按深度学习的训练过程来评价，已经是最优的检测模型。至于逻辑运算效率，和AI一样，AOI的视觉算法中也用到非常多的矩阵乘法和卷积运算，因为GPU可以高效地处理矩阵乘法和卷积运算，可以预见，GPU会越来越多地被用于AOI，以提高逻辑运算的效率。所以后AOI处理是AI技术应用的关键环节，即AI技术应用于检修站的确认以减少设备投入和人力成本。

此过程是关注最多的部分，主要包括假点过滤和真点分类处理两个部分。如果可以降低假点率，则会相应地减少板子搬运、减少检修设备投资和降低检修的人力成本，这里的假点并不是指逻辑假点（没有任何异常而报告的缺点），而是不想被报告出来的缺点，如灰尘、无黏性异物和氧化等。据统计，此类“假点”占总缺点数少则30%多达80%（此比例根据不同厂商的制造设备、过程控制和生产环境等因素的不同会有较大差别）。常见的假点图见图6。

图6：常见异物缺点

如前面视觉难点的讨论，仅仅通过2D的灰度图（甚至是彩色图像的RGB通道图）的灰度变化是无法确定异物的材质、高度，尤其是异物与板面的结合情况（异物是否有黏性）或异物下是否有缺点被遮挡，也无法准确分辨氧化点、铜面凹痕或是针孔。所以现实生产中，检修站操作人员在遇到此类缺点时，会采用辅助工具（压缩气、黏尘辘、橡皮擦或纤维擦等）来清洁处理后，再确认缺点类型。如果想在此环节加入AI视觉系统来减少此类假点，则必须考虑如何克服各种类型的异物、氧化、蚀刻图形差异等干扰的问题，这就要求系统采用3D的样本作为处理对象，如同PCB的异常分析需要用SEM或切片一样。考虑到这类缺陷的占比约高达3%~10%（根据AOI车间的无尘度管理、蚀刻线各药水缸的保养周期、隔板胶片的清洗周期、开料后板边处理等因素而波动）,如果只是在现有的设备基础上简单的应用AI进行处理，其结果必然是AI技术虽然减少了人力成本，但同时会严重影响生产品质。

那么AI用于真缺点处理的前景如何呢？当CVR操作人员确认缺点为真缺点时，通常将真缺点分成修理和报废两类，而处理这些缺点时又可以在线或离线处理。在线处理是指在确认过程中对修理缺点在线修理，对报废缺点在板上标示报废信息。离线处理是指确认过程中只标示缺点或输入缺点代码，再传给另外的人员或设备来做修理或报废处理。笔者认为，AI应用于假缺点过滤还是真缺点分类要视PCB厂的假点率、缺点分布和PCB板的结构等因素而定，并且需要制定相应的人工智能的应用规则（像给无人驾驶汽车指定车道一样），或者为AI提供更强劲的感知系统以保证AI能够清楚地感知缺点的形态，如优化照明系统或采用3D成像，这就要求增加新的硬件子系统，难度较大。比较乐观的是先推进新型基础设施建设：导入大数据系统，通过CIMS的CDB和VVS系统可以收集所需的缺点图像，在VVS（虚拟确认系统）上进行缺点分类既可以极大减少CVR的设备投资，同时也可以为缺点图片打标签，为导入AI技术做准备。在CDB数据库系统中加入VVS系统和AI技术后，CVR上只需要处理无法通过图片判断的缺点，当AI经过足够的学习和模型迭代后（尤其对于新材料和新制程的不断更新），将可以基本实现全人工智能确认。

AI技术虽然已经在AOI图像处理中得到广泛应用，但检修环节依然有巨大的应用场景和空间，尤其在AI算法快速迭代的今天，未来的检修系统将是集成各种AI算法的智能检修系统。当然，这些AI算法可以是简单的回归、分类算法，也可以复杂的强化学习、结构化学习，强人工智能和弱人工智能本来就是当今存在争议的哲学问题。