亚星游戏官网-www.yaxin868.com

专利名称：图像处理装置、图像处理方法和电子装置的制作方法
技术领域：
本发明涉及图像处理装置、图像处理方法和电子装置，特别涉及能够基于所拍摄的图像检测人体的暴露部分(诸如手)的图像处理装置、图像处理方法和电子装置。
背景技术：
存在一种从图像检测诸如脸和手的皮肤暴露区域(在下文中称为“皮肤区域”)技术，该图像通过对人物成像而获得(参见例如专利文献I )。根据该皮肤检测技术，在用发射波长\ I的光的LED (发光二极管)照射对象的状·态下成像对象(人物)而获得第一图像，并在用发射波长X 2的光的另一 LED照射对象的状态下成像对象而获得第二图像。然后，将第一图像和第二图像之间的亮度差大于特定阈值的区域检测为皮肤区域。关于此技术，根据人体皮肤的反射特性确定波长X I、X 2。换言之，通过以下方式确定波长X I、X 2 :用波长\ I的光照射人体皮肤时人体皮肤的反射率不同于用波长入2的光照射人体皮肤时人体皮肤的反射率，并且用波长X I的光照射人体皮肤以外的对象时，该对象的反射率几乎等于用波长X2的光照射该对象时的反射率。具体来讲，波长入I被确定为例如870nm,而波长\ 2被确定为例如950nm。如上所述，根据过去的皮肤检测技术，计算用波长、I的光照射对象的状态下的对象的第一图像和用波长X2的光照射对象的状态下的对象的第二图像之间的亮度差，因此，当受到照射光源的LED以外的外部光的影响而使第一图像的像素值和第二图像的像素值饱和时，不能计算所述差。因此，根据过去的皮肤检测技术，限制外部光线的入射，以防止外部光线影响第一图像和第二图像，并且在由聚光透镜、成像元件等组成的成像部的前面设置透过波长、I的光和波长、2的光的滤光器。该滤光器的光谱特性需要根据波长X I、X 2而改变，且当滤光器的光谱特性改变时，第一图像和第二图像受改变的光谱特性的影响，从而导致两个图像的亮度也变化。如果第一和第二图像的亮度降低，成像部的亮度放大(luminance amplification)的增益可被增大，且当亮度放大的增益被增大时，LED的光量被减少。文献引用列表专利文献PTLl 日本专利申请公开No. 2006-4706
发明内容
如上所述，滤光器的光谱特性与LED的波长入I和入2、亮度放大的增益和LED的光量相关，所以，很难唯一确定滤光器的最佳光谱特性。事实上，在过去的皮肤检测技术中，建议提供滤光器，但仅描述了滤光器应阻断可见光并透过波长\ I和波长\ 2的光。而没有描述滤光器的最佳光谱特性。鉴于这些情况，做出了本发明。在使用多个不同波长的光的皮肤检测技术中，本发明提出用于防止外部光线进入成像部的滤光器的最佳光谱特性和照射光的最佳波长入I和\ 2，并意图通过提供滤光器和照射光源来抑制照射光源的输出。根据本发明的第一实施方式，提供了图像处理装置，用于从图像检测代表人体皮肤的皮肤区域。该装置包括第一照射装置，其用于利用具有第一波长的光照射对象；第二照射装置，其用于利用具有比第一波长长的第二波长的光照射对象；入射光限制装置，其用于将比第一波长短的第三波长定义为基准、吸收具有比第三波长短的波长的光、并透过具有比第三波长长的波长的光；生成装置，其用于当用具有第一波长的光照射对象时基于从对象经由入射光限制装置进入的反射光生成第一图像，并用于当用具有第二波长的光照射对象时基于从对象经由入射光限制装置进入的反射光生成第二图像；以及检测装置，其用于基于第一图像和第二图像检测出所述皮肤区域。可以使第一波长入I、第二波长入2和第三波长入cut满足下面的表达式，入 I - 70nm ^ 入 cut < 入 I - 30nm,入l+40nm〈入 2。 可以使第一波长入I和第二波长入2满足下面的表达式，800nm< A KlOOOnm,900nm<A2〈1100nm。根据本发明的第一实施方式，也提供了一种用于图像处理装置的图像处理方法。图像处理装置包括第一照射装置，其用于利用具有第一波长的光照射对象；第二照射装置，其用于利用具有比第一波长长的第二波长的光照射对象；入射光限制装置，其用于将比第一波长短的第三波长定义为基准、吸收具有比第三波长短的波长的光、并透过具有比第三波长长的波长的光；生成装置，其用于基于来自对象的所进入的反射光生成图像；以及检测装置，其用于基于所生成的图像检测出皮肤区域。图像处理方法包括第一照射步骤，通过第一照射装置利用具有第一波长的光照射对象；第一生成步骤，当用具有第一波长的光照射对象时，基于来自对象经由入射光限制装置进入的反射光生成第一图像；第二照射步骤，通过第二照射装置利用具有第二波长的光照射对象；第二生成步骤，当用具有第二波长的光照射对象时，基于来自对象经由入射光限制装置进入的反射光生成第二图像；以及检测步骤，通过检测装置基于第一图像和第二图像检测出皮肤区域。根据本发明的第一实施方式，还提供了一种用于从图像检测出代表人体皮肤的皮肤区域的图像处理装置。该装置包括第一照射器、第二照射器、入射光限制器、生成器和检测器。第一照射器利用具有第一波长的光照射对象。第二照射器利用具有比第一波长长的第二波长的光照射对象。入射光限制器将比第一波长短的第三波长定义为基准，吸收具有 比第三波长短的波长的光，并透过具有比第三波长长的波长的光。生成器在利用具有第一波长的光照射对象时基于来自对象的经由入射光限制器进入的反射光生成第一图像，并在用具有第二波长的光照射对象时基于来自对象的经由入射光限制器进入的反射光生成第二图像。检测器基于第一图像和第二图像检测出皮肤区域。在本发明的第一实施方式中，基于来自对象的经由入射光限制装置进入的反射光生成第一图像，且当用具有第二波长的光照射对象时，基于来自对象的经由入射光限制装置进入的反射光生成第二图像。基于第一图像和第二图像检测出皮肤区域。根据本发明的第二实施方式，提供了一种电子装置，其包括第一照射装置，其用于利用具有第一波长的光照射对象；第二照射装置，其用于利用具有比第一波长长的第二波长的光照射对象；入射光限制装置，其用于将比第一波长短的第三波长定义为基准，吸收具有比第三波长短的波长的光，并透过具有比第三波长长的波长的光；生成装置，其用于当用具有第一波长的光照射对象时基于来自对象的经由入射光限制装置进入的反射光生成第一图像，并且当用具有第二波长的光照射对象时基于来自对象的经由入射光限制装置进入的反射光生成第二图像；检测装置，其用于基于第一图像和第二图像检测出皮肤区域；以及操作控制装置，其用于响应所检测出的皮肤区域中的变化而执行特定处理。根据本发明的第二实施方式，还提供了一种电子装置。所述电子装置包括第一照射器、第二照射器、入射光限制器、生成器、检测器和操作控制器。第一照射器利用具有第一波长的光照射对象。第二照射器利用具有比第一波长长的第二波长的光照射对象。入射光限制器将比第一波长短的第三波长定义为基准，吸收具有比第三波长 短的波长的光，并透过具有比第三波长长的波长的光。生成器在用具有第一波长的光照射对象时基于来自对象的经由入射光限制器进入的反射光生成第一图像，并在用具有第二波长的光照射对象时基于来自对象的经由入射光限制器进入的反射光生成第二图像。检测器基于第一图像和第二图像检测出皮肤区域。操作控制器响应所检测出的皮肤区域中的变化而执行特定处理。在本发明的第二实施方式中，当用具有第一波长的光照射对象时，基于来自对象的经由入射光限制装置进入的反射光生成第一图像，且当用具有第二波长的光照射对象时，基于来自对象的经由入射光限制装置进入的反射光生成第二图像。基于第一图像和第二图像检测皮肤区域，且响应所检测的皮肤区域中的变化而执行特定处理。根据本发明的实施方式,可优化滤光器的光谱特性和照射光的波长。此外,根据本发明，可抑制照射光源的输出。


图I为示出应用了本发明的检测装置的构成实例的框图。图2为示出人体皮肤的反射特性的曲线图。图3为示出成像部的光谱灵敏度特性的曲线图。图4为示出外部光线的光谱特性的曲线图。图5为示出波长X I、X 2 (波长\ cut 800nm (800nm至880nm之间的10%以下的
变化))的各种组合的反射率差检测信号(相对值)S的表格。图6为示出对于波长入I和吸收端(absorption edge,吸收边)波长入cut的各种组合的波长入I的光的照射度(相对值)11的最小必要值的表格，其中入I为必要的照射度(相对值)且入2=940，970nm。图7 (包括图7A和图7B)为示出在使用装置的环境温度下时，波长入I和吸收端波长\ cut的各种组合的反射率差检测信号(相对值)S的波动幅度的表格(根据温度的皮肤信号波动(％))(其中图7A中入2=940，而图7B中入2=970)。
具体实施例方式以下，将参考附图详细描述用于实施本发明的最佳方式(以下简称为“实施方式”)。
(I.实施方式)(检测装置的构造实例)图I示出本发明的实施方式的检测装置的构造实例。该检测装置10从拍摄的图像检测检测对象20的人体的皮肤区域(例如脸、手等)。检测装置可以防止外部光线的影响，且可以通过优化滤光器的光学特性和照射光的波长而减少照射光源的光量。检测装置10包括控制部11、LED控制部12、LED 13-1和13_2、滤光器14、成像部15、成像控制部16和图像处理部17。控制部11管理和控制检测装置10的各个部的动作。LED控制部12根据控制部11的控制来控制LED 13-1和13-2的开启和关闭的时序、LED13-1和13_2的输出电平。LED13-1根据LED控制部12的控制来发出光(其中发射光谱的半峰半宽为约50nm，且具有峰值波长、I (以下称为“具有波长、I的光”))。LED 13-2根据LED控制部12的控制来发出光(其中发射光谱的半峰半宽为约50nm，且具有峰值波长入2 (以下称为“具有波长入2的光”)。关于此，波长、I的值的范围为800nm至lOOOnm，且波长\ 2 (其比波长X I长)的值的范围为900nm至llOOnm，这将在后面详细描述。滤光器14设置在成像部15前面，以限制入射到成像部15的光。至于滤光器14的光学特性，采用滤光器14来吸收波长比指定波长(以下称为“吸收端波长Xcut”)短的光，并传输波长比吸收端波长X cut短的光。关于此，将在后面详细描述吸收端波长X cut的值。成像部15包括聚光透镜和成像元件(诸如CXD或CMOS)，并根据成像控制部16的控制来接收通过滤光器14的光(由对象反射的光)，并生成图像。在此，当LED 13-1发出具有波长Al的光时生成的图像设为第一图像，且当LED 13-2发出具有波长入2的光时生成的图像设为第二图像。成像控制部16根据控制部11的控制来控制成像部15的成像时序和亮度放大的增益。此外，成像控制部16将由成像部15生成的第一图像和第二图像输出至图像处理部17。图像处理部17基于第一图像和第二图像检测对象的皮肤区域。(检测装置的动作)首先，通过LED 13-1利用具有波长入I的光照射对象。该照射光与外部光一起被对象反射，且具有波长比由滤光器14吸收的波长\ cut短的光，然后入射在成像部15上。成像部15光电转换入射光以生成第一图像。其次，通过LED 13-2利用具有波长入2的光照射对象。该照射光与外部光一起被对象反射，且经由滤光器14入射在成像部15上。成像部15光电转换入射光以生成第二图像。所生成的第一和第二图像提供至图像处理部17。图像处理部17计算反射率差检测信号S=Yl - Y2，其为对应于第一图像的像素的亮度Yl和对应于第二图像的像素的亮度Y2之间的差，并将反射率差检测信号S与指定阈值比较以二值化像素，并检测出二值化像素的一个区域作为皮肤区域。(滤光器的光学特性(吸收端波长入cut)和LED的波长入I和入2的优化)首先，将描述在优化滤光器的光学特性(吸收端波长\ cut)和LED的波长\ I和入2时的概念(idea)。、
图2示出假定(assume，呈现)的作为检测对象20的人体的皮肤区域的反射特性。如图中所示，已知人体的皮肤区域对接近960nm波长具有最小反射率值。图3示出假定的在成像部15中构建的成像元件的光谱灵敏度特性。图4示出可能入射在滤光器上的外部光线的光谱特性。如上所述，当对应于第一图像和第二图像的像素的亮度假定为Yl和Y2时，反射率差检测信号S为Yl — Y2。由于具有波长\ I 的光在皮肤区域的反射率大于具有波长入2的光的反射率，所以反射率差检测信号S成为正值。然而，反射率差检测信号S需要比可能在图像处理部17中引起的噪声大一定值，所以对应于第一图像和第二图像的像素的亮度Y2、Y1需要大于一定值。当通过LED 13-1和13_2在对象上的照射度假定为Il和12时，为了使对应于第一图像和第二图像的像素的亮度Yl、Y2如上所述地大于一定值，照射度II、12也需要大于指定值。此外，对应于第一图像和第二图像的像素的亮度Y1、Y2也与成像部15中的亮度放大的增益成比例，而且也依赖于波长入I和入2。成像部15的亮度放大的增益需要设置为在外部光下成像对象时不造成过曝光(亮度饱和)，并具有根据滤光器14的光学特性(吸收端波长\ cut)所确定的上限。以此方式，根据LED 13-1的波长\ ULED 13-2的波长\ 2和滤光器14的吸收端波长入cut确定LED 13-1的照射度Il和LED 13-2的照射度12的最小必需值和反射率差检测信号S。此外，当考虑LED 13-1的波长\ I和LED 13-2的波长\ 2中的每个都有指定的分布特性，且具有由使用的环境温度的变化所造成的波动幅度时，这些波长的最佳值可以由下列条件表达式定义A 1+40 ^ 入 2A 1-70 ( A cut ^ A 1-30(I)通过选择波长入I、入2和吸收端波长入cut以满足上面所述的表达式，反射率差检测信号S可以保持在大于噪声的值，而LED 13-1、13-2的照射度II、12可以保持在最小
必要值。图5示出，在如图2至图4所示的假定下，当波长M、X 2的组合在吸收端波长入cut固定设置在SOOnm下的状态下改变时的反射率差检测信号(相对值)S。期望该反射率差检测信号(相对值)S大(通常大于5)。图6示出，在如图2至图4所示的假定下，波长入I和吸收端波长入cut的组合变化时，在波长入2设置在940nm或970nm的状态下，LED 13-1的具有波长入I的光的照射度(相对值)Il的最小必要值。关于此，将在描述中省略LED 13-2的具有波长\ 2的光的照射度(相对值)12的最小必要值，因为他们与照射度(相对值)Il相关。期望该照射度(相对值)Il的最小必要值小(通常小于2)。图7A示出，在图2至图4所示的假定下，当波长X 2固定设置在940nm的状态下，装置使用时的环境温度从0° C至75° C变化时波长\ I和吸收端波长\ cut的各种组合的反射率差检测信号(相对值)S的波动幅度(室温下的反射率差检测信号(相对值)S的百分比)。期望该值小(通常小于200%)。
同样，图7B示出，在图2至图4所示的假定下，当波长入2固定设置在970nm的状态下，装置使用时的环境温度从0° C至75° C变化时波长X I和吸收端波长X cut的各种组合的反射率差检测信号(相对值)S的波动幅度(室温25。C下的反射率差检测信号(相对值)S的百分比)。期望该值小(通常小于200%)。关于此，关于在图5至图7中所示的结果，期望的结果由星号表示，不期望的结果(其中图5和图7中所示的三个结果评估指标中至少一个是不期望的)由(X)标记表示。根据图5至图7中所示的结果非常清楚的是，图5至图7中所示的期望的、由星号表示的所有组合满足上述条件表达式(I)。另一方面，图5至图7中所示的不期望的、由(X)标记表示的组合都不满足条件表达式(I )。因此，以上所述的表达式(I)可以被认为是几乎等于图5至图7中所示的期望的 三种结果评估指标的必要充分条件。在这点上，人体皮肤的反射特性具有小的个体差异，且具有以下情况外部光线的光谱特性与图2或图4中所示的光谱特性不同。然而，已证实，即使在这种情况下，上述条件表达式(I)成为图5至图7中所示的期望的三种结果评估指标的必要充分条件。如上所述，通过设置LED 13-1的波长入I、LED13-2的波长入2和滤光器14的吸收端波长Acut以满足条件表达式(I)，LED 13-1、13-2的照射度可减少到最小必要值。同时，作为一般的滤光器，使用薄膜结构形成于基板上的过滤器或通过混合能够吸收光的材料形成的树脂板制成的过滤器。然而，用于本发明的实施方式的滤光器14的结构和材料不限于这些，即如果滤光器14具有阻断具有特定波长范围的光以满足上述条件要求的功能，则可使用任何结构和材料。例如，滤光器14可以在包括在成像部15中的光学部件(诸如透镜)的表面上形成为薄膜。此外，例如，在反射镜包括在从对象至成像部15的路径中时，滤光器14可在反射镜的表面上形成为薄膜。此外，滤光器14可作为摄像头(camera)单元包括在成像部15中，或相反可与摄像头单元分开。滤光器14需要具有的阻断指定波长范围的光的功能可通过在薄膜上复合多个材料以反射或吸收一定波长范围的光来实现，但也可以使用其他方法。例如，也可能使用通过混合吸收一定波长范围的光的材料制成的树脂。或者，也可能通过以下方式来选择成像元件成像元件的光谱灵敏度在由滤光器14截止(cut)的波段内倾向于低。此外，也可能组合上述的多个方法。应用了本发明的检测装置可内置在任意电子装置(诸如电视接收器)中。在电子装置中，可以响应于所检测的对象的手等的动作执行特定处理。本发明的实施方式不限于上述实施方式，而可在不脱离本发明的要旨的情况下，对其进行各种修改。本申请包含2010年I月29日提交给日本专利局的日本在先专利申请JP2010-018287和2010年7月13日提交给日本专利局的日本在先专利申请JP 2010-158867中公开的相关主题，其全部内容通过引用的方式并入本文。参考符号列表10检测装置
11控制部12LED 控制部13LED14滤光器15成像部16成像控制部 17图像处理部
权利要求
1.一种从图像检测出代表人体皮肤的皮肤区域的图像处理装置，所述装置包括 第一照射装置，用于利用具有第一波长的光照射对象； 第二照射装置，用于利用具有比所述第一波长长的第二波长的光照射所述对象； 入射光限制装置，用于将比所述第一波长短的第三波长定义为基准，吸收具有比所述第三波长短的波长的光，并且透过具有比所述第三波长长的波长的光； 生成装置，用于当用具有所述第一波长的光照射所述对象时基于来自所述对象的、经由所述入射光限制装置进入的反射光生成第一图像，并且当用具有所述第二波长的光照射所述对象时基于来自所述对象的、经由所述入射光限制装置进入的反射光生成第二图像；以及 检测装置，用于基于所述第一图像和所述第二图像检测出所述皮肤区域。
2.根据权利要求I所述的图像处理装置，其中，所述第一波长XI、所述第二波长入2和所述第三波长X cut满足下面的表达式，入 l-70nm ^ A cut ^ A l_30nm，入 l+40nm〈入 2o
3.根据权利要求2所述的图像处理装置，其中，所述第一波长XI和所述第二波长入2满足下面的表达式，800nm< A KlOOOnm,900nm<A 2〈1100nm。
4.一种用于图像处理装置的图像处理方法，所述图像处理装置包括 第一照射装置，用于利用具有第一波长的光照射对象； 第二照射装置，用于利用具有比所述第一波长长的第二波长的光照射所述对象； 入射光限制装置，用于将比所述第一波长短的第三波长定义为基准，吸收具有比所述第三波长短的波长的光，并且透过具有比所述第三波长长的波长的光； 生成装置，用于基于来自所述对象的所进入的反射光生成图像；以及 检测装置，用于基于所生成的图像检测出皮肤区域，所述图像处理方法包括 第一照射步骤，通过所述第一照射装置利用具有所述第一波长的光照射所述对象；第一生成步骤，当用具有所述第一波长的光照射所述对象时，基于来自所述对象的、经由所述入射光限制装置进入的反射光生成第一图像； 第二照射步骤，通过所述第二照射装置利用具有所述第二波长的光照射所述对象；第二生成步骤，当用具有所述第二波长的光照射所述对象时，基于来自所述对象的、经由所述入射光限制装置进入的反射光生成第二图像；以及 检测步骤，通过所述检测装置基于所述第一图像和所述第二图像检测出所述皮肤区域。
5.一种电子装置，包括 第一照射装置，用于利用具有第一波长的光照射对象； 第二照射装置，用于利用具有比所述第一波长长的第二波长的光照射所述对象； 入射光限制装置，用于将比所述第一波长短的第三波长定义为基准，吸收具有比所述第三波长短的波长的光，并且透过具有比所述第三波长长的波长的光； 生成装置，用于当用具有所述第一波长的光照射所述对象时基于来自所述对象的、经由所述入射光限制装置进入的反射光生成第一图像，并且当用具有所述第二波长的光照射所述对象时基于来自所述对象的、经由所述入射光限制装置进入的反射光生成第二图像；检测装置，用于基于所述第一图像和所述第二图像检测出所述皮肤区域；以及操作控制装置，用于响应所检测出的皮肤区域中的变化而执行特定处理。
6.一种从图像检测出代表人体皮肤的皮肤区域的图像处理装置，所述装置包括 第一照射器，用于利用具有第一波长的光照射对象； 第二照射器，用于利用具有比所述第一波长长的第二波长的光照射所述对象； 入射光限制器，用于将比所述第一波长短的第三波长定义为基准，吸收具有比所述第三波长短的波长的光，并且透过具有比所述第三波长长的波长的光； 生成器，用于当用具有所述第一波长的光照射所述对象时基于来自所述对象的、经由所述入射光限制器进入的反射光生成第一图像，并且当用具有所述第二波长的光照射所述对象时基于来自所述对象的、经由所述入射光限制器进入的反射光生成第二图像；以及检测器，用于基于所述第一图像和所述第二图像检测出所述皮肤区域。
7.一种电子装置，包括 第一照射器，用于利用具有第一波长的光照射对象； 第二照射器，用于利用具有比所述第一波长长的第二波长的光照射所述对象； 入射光限制器，用于将比所述第一波长短的第三波长定义为基准，吸收具有比所述第三波长短的波长的光，并且透过具有比所述第三波长长的波长的光； 生成器，用于当用具有所述第一波长的光照射所述对象时基于来自所述对象的、经由所述入射光限制器进入的反射光生成第一图像，并且当用具有所述第二波长的光照射所述对象时基于来自所述对象的、经由所述入射光限制器进入的反射光生成第二图像； 检测器，用于基于所述第一图像和所述第二图像检测出所述皮肤区域；以及 操作控制器，用于响应所检测出的皮肤区域中的变化而执行特定处理。
全文摘要
在使用多个不同波长的光的皮肤检测技术中，为了提供用于防止外部光线进入成像部的滤光器的最佳光谱特性和照射光的最佳波长λ1、λ2，本发明提供一种从图像检测代表人体皮肤的皮肤区域的图像处理装置。该装置包括第一照射器；第二照射器；入射光限制器；生成装置，基于从对象经由入射光限制器进入的反射光而生成第一图像和第二图像；以及检测器，基于第一图像和第二图像检测皮肤区域。
文档编号G01N21/27GK102713567SQ20118000656
公开日2012年10月3日 申请日期2011年1月19日 优先权日2010年1月29日
发明者关根武俊 申请人:索尼公司