专利名称：电子部件安装装置的制作方法
技术领域：
本发明涉及一种电子部件安装装置，其根据利用拍摄单元得到的二维图像数据， 生成高度数据，从而可以进行三维的部件识别。
背景技术：
作为当前部件识别中的取得三维图像的技术，在专利文献1中公知以下结构，即， 如图17所示，从2个不同的角度向电子部件选择性地照射拍摄用的照明光，在来自电子部件的正反射光的光轴上搭载各个照相机。在所述结构中公开了下述检测方法，即，各照相机与照明光的选择相对应地拍摄电子部件，从而根据从一个被摄体即电子部件得到的2个图像数据，得到在二维图像数据中添加了高度信息的三维图像数据。另外，在专利文献2中公开了下述方法，S卩，如图18所示，通过三维状地扫描聚光的光斑，而不是同时地向电子部件整体照射的照明光，从而对由吸附嘴吸附的电子部件的三维图像数据进行测量。专利文献1 日本特开2005-340648专利文献2 日本特开2006-34316
发明内容
但是，在上述的现有技术中，为了取得三位图像数据而需要多个拍摄用的照明光以及照相机，或者需要用于生成光斑的光学系统及在三维状扫描中所必需的扫描器，或者需要用于代替扫描器的构造。本发明的目的在于不需要多个拍摄用照明光及照相机、和以扫描器为代表的复杂的构造，而可以取得高精度的电子部件的三维图像数据。技术方案1记载的发明的特征在于，具有部件配置部，其配置电子部件；拍摄单元，其对配置在所述部件配置部上的电子部件进行拍摄；位置调节单元，其调节所述部件配置部和所述拍摄单元之间的距离；拍摄控制部，其控制所述位置调节单元以及所述拍摄单元，针对所述电子部件，取得所述部件配置部和所述拍摄单元之间的距离不同的多个图像数据；测距处理部，其对于所述多个图像数据中的位于拍摄范围内的多个像素，分别基于所述多个图像数据的同一像素的对比度的对比，求出该各像素的从所述拍摄单元至所述部件配置部的合焦位置；以及局部全焦点图像生成部，其根据所述拍摄单元的拍摄区域内的所述各像素的合焦位置、和所述多个图像数据中的所述各像素的亮度值，求出所述拍摄区域的局部范围内的像素的合焦位置处的亮度值，生成由该合焦位置处的亮度值构成的局部全焦点图像。技术方案2所述的发明的特征在于，具有与技术方案1所述的发明相同的构成，并且，通过对所述对比度或者所述合焦位置设定规定的阈值，从而生成所述局部全焦点图像。技术方案3所述的发明的特征在于，具有与技术方案1或者2所述的发明相同的构成，并且具有样板图像存储部，其存储局部全焦点样板图像的图像数据，该局部全焦点样板图像是电子部件的局部全焦点图像的样板图像；以及不良检查部，其基于由所述局部全焦点图像生成部生成的局部全焦点图像是否与局部全焦点样板图像一致的判断，判定是否为部件不良。局部全焦点样板图像可以由部件的3D-CAD数据生成，也可以由良品样本部件的拍摄数据生成。发明的效果技术方案1所述的发明，根据多个图像数据的拍摄范围内的各像素中的对比度， 取得合焦位置。即，进行部件配置部和拍摄单元之间的距离(以下称为“拍摄距离”)不同的多次拍摄，在该各次拍摄得到的图像数据中，针对各像素求出与周围的对比度，针对多个图像数据的相同像素比较对比度。其结果，在对比度的值成为最大值的图像数据的拍摄距离处，该像素成为合焦状态。另外，对于一个像素对比度成为最大值的图像数据，是最接近合焦的状态，并不限于与合焦位置完全一致，所以对比度成为最大值的图像数据的拍摄时的拍摄距离也可以近似地认为是合焦位置，另外，也可以根据对比度的大小为第1和第2的两个图像数据的拍摄距离，正确地求出合焦位置。并且，由于可以根据部件配置部和拍摄单元的合焦位置，求出电子部件上的各像素处的高度，所以不需要多个拍摄用照明光及照相机、和以扫描器为代表的复杂的构造，而可以得到三维图像数据。通过利用上述方法，对于拍摄区域的局部范围内的各像素，计算出电子部件上的多个点的高度，从而可以求出电子部件表面上的任意处的高度。并且，如果对于电子部件表面上的各个点求得高度，则根据与该各个点的合焦位置一致的拍摄距离的图像数据，对于电子部件表面上的各个点取得对应的像素位置的亮度值(亮度值)。另外，在不存在与合焦位置一致的图像数据的情况下，也可以采用与合焦位置接近的图像数据的亮度值，也可以根据与合焦位置接近的多个图像数据的亮度值，近似地计算合焦位置处的亮度值。并且，通过对于拍摄区域的局部范围内的像素取得合焦状态的亮度值，而可以生成局部全焦点图像(数据)。由于该局部全焦点图像的全部像素均合焦，所以图像整体可以更加地鲜明。由此，通过得到该局部全焦点图像，在基于拍摄图像提取或者指定电子部件的特征位置或中心位置等情况下进行的图像处理以及图像分析中，可以得到较高的精度。另外，由于限制在拍摄区域的局部范围内并生成全焦点图像，所以在基于拍摄图像提取或者指定电子部件的特征部位或中心位置等情况下可以更迅速地进行图像处理，并且可以实现处理负担的减轻。技术方案2记载的发明，由于针对对比度或者合焦位置在范围内设置限制，生成局部全焦点图像，所以可以容易地排除在图像内不需要的部位，例如电子部件的背景等。例如，在哪个图像数据中都得不到某种程度的对比度的情况下，在进行各图像数据拍摄后的拍摄距离的范围内不含有合焦位置。即，可以根据对比度的限制，容易地排除最远离拍摄单元的部件配置部的配置面(背景部分)。另外，通过在得到合焦位置的情况下也对合焦位置本身设置限制，所以凸出部分、凹陷部分等与安装作业的必要性相对应地仅提取应检测的部位，取得全焦点图像，降低处理数据量，可以高效地处理。技术方案3所述的发明，以生成的局部全焦点图像为基�。缋闷ヅ浯恚杏刖植咳沟阊逋枷褚恢碌呐卸希纱耍捎诮胁考牧挤衽卸ǎ钥梢苑乐勾钤匦巫创嬖谝斐５牡缱硬考�。例如，在要搭载的电子部件为正常的部件的情况下，局部全焦点图像和局部全焦点样板图像的相关度较高，判别为正常的电子部件。另一方面，在电子部件中产生弯曲的情况等下，由于局部全焦点图像仅得到一部分，所以相关度较低，可以判断为不良。在判断上述不良时，优选例如针对执行部件安装的动作控制的控制，发出错误通知。
图1是本实施方式所涉及的电子部件安装装置的斜视图。图2是表示拍摄装置的周边结构的斜视图。图3是表示电子部件安装装置的控制系统的框图。图4是表示利用1次滤波运算部求出对比度的方法的说明图。图5是表示利用2次滤波运算部进行平滑化的方法的说明图。图6是对于一个目标像素表示在拍摄高度不同的图像数据中的被平滑化后的对比度值的曲线图。图7是对于一个目标像素表示在拍摄高度不同的图像数据中的被平滑化的对比度值的曲线图，表示没有得到峰值的情况。图8是显示装置中的高度图像数据的显示例。图9是显示装置中的局部全焦点图像数据的显示例。图10是良品的电子部件的侧视图。图11是在图10中示出的良品的电子部件的局部全焦点图像的例子。图12是不良的电子部件的侧视图。图13是在图12中示出的不良的电子部件的局部全焦点图像的图。图14是表示根据对吸附嘴吸附的电子部件的多次拍摄，计算出电子部件的姿势、 位置等的处理的流程图。图15是表示在图14的处理中施加进行不良检查的处理的例子的流程图。图16是表示将部件配置部作为搭载电子部件的工作台的例子的斜视图。图17是利用现有的2个图像数据，检测三维图像数据的装置图。图18是利用现有的聚光后的光斑测量电子部件的三维图像数据的装置图。
具体实施例方式(发明的实施方式)基于图1至图15，说明发明的实施方式。图1是本实施方式所涉及的电子部件安装装置100的斜视图。以下，如图所示，将水平面上彼此正交的两个方向分别作为X轴方向和Y轴方向，将与它们正交的垂直方向作为Z轴方向。电子部件安装装置100向基板S进行各种电子部件C的搭载，其具有部件供给部，其由作为设置部的供给器收容部102构成，该供给器收容部102并列保持多个用于供给要搭载的电子部件C的作为部件供给装置的电子部件供给器108，但在图1中仅图示一个； 基板输送单元103，其向X轴方向输送基板；作为基板保持部的基板夹持机构104，其用于对设置在由该基板输送单元103构成的基板输送路径的中途的基板S进行电子部件搭载作业；搭载头6，其可升降地保持作为部件配置部的多个吸附嘴105，并进行电子部件C的保持；作为拍摄单元的拍摄装置1，其为了得到在图3所示的安装动作中所需的各种信息，而对由吸附嘴105吸附的电子部件C进行拍摄；作为移动机构的X-Y龙门架107，其向包含部件供给部和基板夹持机构104在内的作业区域内的任意位置驱动输送搭载头106 ；基座框架114，其搭载支撑上述各结构；作为动作控制单元的主控制器120，其进行上述各结构的动作控制；以及图像处理装置10，其对由拍摄装置1拍摄得的图像数据进行处理。该电子部件安装装置100的主控制器120保存有安装数据，该安装数据记录与电子部件C的安装有关的各种设定内容，从安装数据中读出应安装的电子部件C、电子部件C 的基于电子部件供给器108设置位置的部件接收位置108a、以及表示基板上的安装位置的数据，并且，控制X-Y龙门架107向电子部件C的接收位置108a和安装位置移送搭载头106， 在各位置上控制搭载头106，进行吸附嘴105的升降动作、以及吸附或者释放动作，执行电子部件C的安装的动作控制。(基板输送单元以及基板保持部)基板输送单元103具有未图示的输送带，利用该输送带，沿X轴方向输送基板。另外，如上所述，在由基板输送单元103形成的基板输送路径的中途设有基板夹持机构104，其用于将基板S固定保持在向基板搭载电子部件C时的作业位置上。安装有该基板夹持机构104，以在与基板输送方向正交的方向上的两端部处夹持基板S。另外，在基板夹持机构104的下方设有多个支撑棒，它们在夹持时与基板S的下表面侧抵接而进行支承，以使得在电子部件搭载时基板S不会向下方弯曲。基板S在由它们保持的状态下进行稳定的电子部件C的搭载作业。(X-Y 龙门架)X-Y龙门架107具有X轴导轨107a，其向X轴方向引导搭载头106的移动；两根Y 轴导轨107b，其将搭载头106与该X轴导轨107a —起向Y轴方向引导；X轴电动机109，其是使搭载头106沿X轴方向移动的驱动源；以及Y轴电动机110，其是经由X轴导轨107a， 使搭载头106向Y轴方向移动的驱动源。并且，利用各电动机109、110的驱动，搭载头106 可以在两根Y轴导轨107b之间形成的大致整个区域输送。另外，各电动机109、110利用主控制器120识别各自的旋转量，通过进行控制以成为期望的旋转量，经由搭载头106进行吸附嘴105的定位。另外，与电子部件安装作业的需要相对应，所述两个供给器收容部102及基板夹持机构104均配置在由X-Y龙门架107形成的搭载头106的可输送区域内。(搭载头)搭载头106如图1所示设有吸附嘴105，其利用空气吸引，将电子部件C保持在其前端部；作为升降机构的Z轴电动机111，其使吸附嘴105沿Z轴方向升降；以及θ轴电动机112，其用于使吸附嘴105旋转，绕Z轴方向对保持的电子部件C进行角度调节。另外，上述吸附嘴105以沿Z轴方向的状态可升降且可旋转地支撑在搭载头106上，可以通过升降进行电子部件C的接收或者安装，并且通过旋转进行电子部件C的角度调节。(供给器收容部以及电子部件供给器)供给器收容部102以沿X轴方向的状态设置在图1前侧即基座框架114的Y轴方向一端部。供给器收容部102具有沿X-Y平面的长条的平坦部，在该平坦部的上表面，沿X 轴方向并列地载置安装多个电子部件供给器108等。在图1中仅示出一个电子部件供给器 108，但实际上并列安装有多个电子部件供给器108等。另外，供给器收容部102具有用于保持各电子部件供给器108等的未图示的闩销机构，根据需要，各电子部件供给器108等可以相对于供给器收容部102安装或者拆卸。上述的电子部件供给器108在后端部保持有带盘，该带盘卷绕有以均一间隔并列地封装有电子部件C的载料带，在前端上部具有传递部，该传递部位于电子部件C的相对于搭载头106的供给位置上。并且，在所述安装数据中记录有表示电子部件供给器108安装在供给器收容部102的状态下的电子部件C的传递部的位置的X、Y坐标值。(拍摄装置)图2是表示拍摄装置1的周边结构的斜视图。拍摄装置1由透镜Ia和照相机Ib组成，该透镜Ia和照相机Ib隔着基板输送单元103而位于供给器收容部102的相反侧，设置在基座框架114上，其视线朝向垂直上方设置。即，从下方对由吸附嘴105吸附的电子部件C进行拍摄。上述拍摄装置1的照相机Ib设置有光学装置，该光学装置由对被摄体图像进行拍摄的C⑶拍摄元件、和设置在该拍摄元件前侧的固定焦点处的透镜Ia组成。另外，向图像处理装置10输出在该拍摄装置1拍摄时得到的图像信号。在拍摄装置1的正上侧设有照明装置2。该照明装置2由俯视观察为正方形状且内部中空的立方体的壳体2a、从壳体内底部的四周照射光的多个发光元件2b、和从壳体内上部的四周进行光照射的多个发光元件2c构成。照明装置2的壳体加的上部和下部开口。并且，利用Z轴电动机111的驱动，使吸附嘴105吸附的电子部件C下降，从上侧的开口部向壳体加内进入，在从四周进行光照射的状态下，通过下侧的开口部由拍摄装置1进行电子部件C的拍摄。(电子部件安装装置的控制系统)图3是表示电子部件安装装置100的控制系统的框图。所述X-Y龙门架107的X 轴电动机109、Y轴电动机110、在搭载头106中进行吸附嘴105的升降的Z轴电动机111、 进行吸附嘴105的旋转的θ轴电动机112分别经由未图示的驱动电路，与主控制器120连接。另外，拍摄装置1执行的拍摄和照明装置2执行的光照射由主控制器120控制。并且，由拍摄装置1拍摄得到的图像信号如上所述向图像处理装置10输入。主控制器120主要具有未图示的存储器，其存储作为安装对象的电子部件C的一览表及其搭载顺序、各电子部件C在基板S上的搭载位置、以及确定接收位置等的安装计划数据，该接收位置等表示各电子部件C是从哪个电子部件供给器108接收的；以及CPU 121，其执行安装动作控制程序。并且，在电子部件安装时，读入安装计划数据，控制X轴及Y轴电动机109、110，向规定的电子部件供给器108的接收位置输送搭载头106，控制Z轴电动机111，利用吸附嘴 105吸附电子部件C，向拍摄装置1移动，从下方对电子部件C进行拍摄后，向由安装计划数据确定的基板安装位置输送电子部件C，执行安装。并且，针对由安装计划数据确定的全部电子部件C执行安装，结束动作控制。另外，主控制器120可通信地与图像处理装置10连接。并且，从图像处理装置10 接收电子部件C的中心位置以及绕Z轴的角度信息，并且通过对X轴及Y轴电动机109、110 和θ轴电动机112的控制，对电子部件C相对于吸附嘴105的中心位置偏移以及绕Z轴的角度偏移进行校正后，进行向基板S的安装动作控制，上述电子部件C的中心位置以及绕Z 轴的角度信息是基于全焦点图像的解析结果而得到的，该全焦点图像是通过对电子部件C 进行拍摄而生成的。另外，在安装电子部件C时，主控制器120控制Z轴电动机111，以使得吸附嘴105 的高度在Z轴方向上以一定的间隔变化，并控制拍摄装置1，以使得在各个高度时从垂直下方对吸附嘴105吸附的电子部件C进行拍摄。S卩，主控制器120作为拍摄控制部起作用。例如，以吸附嘴105的下端部与拍摄装置1的合焦的位置作为起点，使吸附嘴105 上升至规定的高度，并且控制拍摄装置1，以使得每隔均一间隔对电子部件C进行拍摄。将拍摄时的吸附嘴105的上升移动量和拍摄次数存储在未图示的存储器中，可以从外部任意地设定。另外，也可以在相同范围内一边使吸附嘴105下降一边进行拍摄。(图像处理装置)并且，图像处理装置10通过上述多次拍摄，取得多个图像数据，求出构成图像的各像素位置处的合焦位置、即对于一个像素在合焦的情况下的拍摄装置1和吸附嘴105之间的相对位置或者距离，并进行以下处理，即，对于全部像素，生成由合焦图像组成的全焦点图像，或者对于电子部件C中的处于一定高度范围内的部分像素，生成由合焦图像组成的局部全焦点图像。因此，如图3所示，图像处理装置10具有A/D变换器11，其对由上述拍摄装置1 的多次拍摄而得到的图像信号进行A/D变换，生成每次拍摄的图像数据；图像存储部12，其存储上述的图像数据；处理部20，其根据各个图像数据，生成电子部件C的高度数据、高度图像数据以及全焦点图像数据；处理结果存储部30，其由存储高度数据的高度数据存储部 31、存储高度图像数据的高度图像存储部32、以及存储全焦点图像数据的全焦点图像存储部33组成；局部全焦点图像生成部41，其根据全焦点图像数据以及高度数据，生成局部全焦点图像数据；局部全焦点图像存储部42，其存储生成的局部全焦点图像数据；部件位置检测处理部13，其对于局部全焦点图像数据进行图像处理，计算出电子部件C的姿势和位置；三维形状检查部50，其由样板(templet)图像存储部52、不良检查部51、和检查结果存储部53组成，其中，该样板图像存储部52存储局部全焦点样板图像的图像数据，该局部全焦点样板图像是电子部件的局部全焦点图像的样板图像，该不良检查部51利用保持在样板图像存储部52中的局部全焦点样板图像的图像数据和保持在局部全焦点图像存储部42 中的局部全焦点图像数据，进行不良检查，该检查结果存储部53保持不良检查结果；以及 CPU 14，其控制各部分的处理的执行以及数据的存储。另外，处理部20具有1次滤波运算部21，其计算全图像数据的各像素的对比度值；2次滤波运算部22，其对各像素中的对比度值进行平滑化；高度计算部23，其根据平滑化后的对比度值，计算各像素的合焦位置；高度图像生成部对，其生成高度图像数据，该高度图像数据利用与高度对应的亮度值表示电子部件C的各像素位置的高度；以及全焦点图像生成部25，其针对对电子部件C的各部分进行拍摄的各像素，分别生成由合焦的图像组成的全焦点图像数据。下面，依次说明图像处理装置10的各部分。上述A/D变换器11将在吸附嘴105的1个行程移动中的每次拍摄时从拍摄装置1 输出的图像信号从模拟信号变换成数字信号，生成每一次拍摄的图像数据。一个图像数据， 针对构成1帧的全部像素，分别记录检测出的亮度值。各图像数据全部存储在图像存储部12中。处理部20的1次滤波运算部21针对各次拍摄的图像数据中的全部像素，计算对 ^匕貞。图4是表示由1次滤波运算部21求得对比度的方法的说明图。如果将成为求得对比度的对象的像素作为目标像素(i，j)，则i，j是表示像素位置的X-Y坐标值，在其亮度值为I(i，j)的情况下，如公式(1)所示，在以该目标像素为中心，由纵向、横向、以及倾斜 45°的两个方向组成的四个方向上，将在X轴方向上偏离士dx、在Y轴方向上偏离士dy、在倾斜方向上偏离士dx及士dy而排列的合计8个像素，与目标像素的亮度值的差分的总和， 作为目标像素的对比度Lm(i, j)。另夕卜，对比度Lm(i，j)也可以更加简单地如公式(2)所示，在倾斜方向上省略与各像素的对比而求出。数1Lm(i, j) = I(i-dx, j)-2I(i, j)+I(i+dx, j)+|l(i，j-dy)-2I(i, j)+I(i, j+dy)…(1)+|l(i-dx, j-dy)-21 (i, j)+I(i+dx, j+dy)+|l(i+dx, j-dy)-21 (i，j)+I(i_dx，j+dy)Lm(i，j) = I(i-dx, j)_2I(i，j)+I(i+dx, j)... (2)+|l(i，j-dy)-21 (i，j)+I(i, j+dy)另外，dx，dy是预先设定的整数，作为一个例子，示出了像素有1 10个等级的情
况，也可以增减。另外，在利用上述方法求得对比度的情况下，在平面内并列的全部像素内，对于从其外缘开始的一个dx列或者一个dy列的像素，由于无法严密地求得对比度，所以从处理对象中排除，但由于对于整体来讲是极微小的范围，所以为了方便，称为“全部像素的对比
/又 ο2次滤波运算部22基于由1次运算部21计算出的对比度Lm(i，j)，按照下面公式 (3)，对各次拍摄的图像数据中的全部像素进行平滑化。数2
权利要求
1.一种电子部件安装装置，其特征在于，具有 部件配置部，其配置电子部件；拍摄单元，其对配置在所述部件配置部上的电子部件进行拍摄； 位置调节单元，其调节所述部件配置部和所述拍摄单元之间的距离； 拍摄控制部，其控制所述位置调节单元以及所述拍摄单元，针对所述电子部件，取得所述部件配置部和所述拍摄单元之间的距离不同的多个图像数据；测距处理部，其对于所述多个图像数据中的位于拍摄范围内的多个像素，分别基于所述多个图像数据的同一像素的对比度的对比，求出该各像素的从所述拍摄单元至所述部件配置部的合焦位置；以及局部全焦点图像生成部，其根据所述拍摄单元的拍摄区域内的所述各像素的合焦位置、和所述多个图像数据中的所述各像素的亮度值，求出所述拍摄区域的局部范围内的像素的合焦位置处的亮度值，生成由该合焦位置处的亮度值构成的局部全焦点图像。
2.根据权利要求1所述的电子部件安装装置，其特征在于，通过对所述对比度或者所述合焦位置设定规定的阈值，从而生成所述局部全焦点图像。
3.根据权利要求1或者2所述的电子部件安装装置，其特征在于，具有样板图像存储部，其存储局部全焦点样板图像的图像数据，该局部全焦点样板图像是电子部件的局部全焦点图像的样板图像；以及不良检查部，其基于由所述局部全焦点图像生成部生成的局部全焦点图像是否与局部全焦点样板图像一致的判断，判定是否为部件不良。
全文摘要
本发明涉及一种电子部件安装装置，其利用拍摄得到的图像数据，取得更加高精度的安装对象的电子部件的外部信息。电子部件安装装置具有拍摄单元，其对配置在部件配置部上的电子部件进行拍摄；位置调节单元，其可动地调节部件配置部和拍摄单元的距离；拍摄控制部，其对它们进行控制，针对电子部件取得部件配置部和拍摄单元之间的距离不同的多个图像数据；测距处理部，其基于各图像数据的同一像素中的对比度的对比，求出该各像素处的从拍摄单元至部件配置部的合焦位置；以及全焦点图像生成部，其根据拍摄区域内的各像素中的合焦位置和各图像数据中的各像素的亮度值，求出拍摄区域的局部范围内的像素的合焦位置处的亮度值，生成局部全焦点图像。
文档编号G01N21/88GK102364297SQ20111016603
公开日2012年2月29日 申请日期2011年6月15日 优先权日2010年6月15日
发明者今野贵史, 佐佐木美智代, 小仓丰, 森田玲香 申请人:Juki株式会社
专业数控铣床产品供应商
20年生产经验，实力工厂，精工品质，质量有保障
