专利名称:图像获取设备和图像获取系统的制作方法
技术领域:
本发明涉及用以获得要测量对象的图像和要测量对象的三维数据、并且还获取用于匹配三维数据的光谱特性的图像获取设备和图像获取系统。
背景技术:
过去,已经进行了实践以通过执行要测量对象的数字摄影测量等来在获取要测量对象的三维数据的同时获得要测量对象的图像并获得具有该图像的三维数据。具有如在常规类型三维测量设备中获得的图像的三维数据能够在地图数据等中使用,并且这些数据具有增加可见度的效果或其它效果。另一方面,这样获得的数据是要测量对象的三维位置数据,并且所获得的信息提供要测量对象的三维位置。当对要测量对象执行测量时,期望的是能够获得更多信息,并且期望的是一不仅能够获取要测量对象的位置信息,而且能够获取关于要测量对象的性质的信息。例如,如果能够获得关于农产品的生长条件的信息,则其将对增加进行适当判定并对农业劳动采取适当行动的可能性有所贡献。或者,如果将可以进行关于被暴露于地表等的矿物质类型的明确判断,则其将有助于进行土木工程方法的适当选择或用于其它目的。
发明内容
本发明的目的是提供一种图像获取设备和图像获取系统,其可以用来通过使用光谱照相机来识别变化的条件而以较高的准确度获得光谱图像,并且其可以用来获取包括关于光谱特性的数据的三维数据。为了达到上述目的,根据本发明的图像获取设备包括用于获取由在时间序列上连续的帧图像组成的视频图像的第一照相机、与第一照相机处于已知关系并被用于获取要测量对象的两个或更多光谱图像的第二照相机、以及图像拾取控制设备,并且在该图像获取设备中,图像拾取控制设备被配置成从帧图像中的一个提取两个或更多特征点,以在时间序列上连续的帧图像中连续地指定特征点,基于该特征点来相对于与所述两个或更多光谱图像相对应的帧图像执行帧图像之间的图像匹配,并根据由图像匹配获得的条件将所述两个或更多光谱图像合成。此外,在根据本发明的图像获取设备中,所述图像拾取控制设备同时地获取帧图像和光谱图像,并基于每个帧图像上的特征点的位置来执行每个光谱图像的相对定位。此外,在根据本发明的图像获取设备中,所述图像拾取控制设备从由第一照相机拍摄的视频图像的第一帧图像中提取至少五个特征点,通过图像跟踪来在第n个帧图像中指定至少五个特征点,基于两个图像的特征点来执行立体匹配,并准备(Pr印are)要测量对象的三维模型。此外,在根据本发明的图像获取设备中,所述图像拾取控制设备将合成的光谱图像的波长分量的信息组合到三维模型。此外,在根据本发明的图像获取设备中,获取由第二照相机获取的光谱图像作为关于预定波长范围的二维图像。此外,根据本发明的图像获取系统包括飞行对象、安装在该飞行对象上的GPS设备、用于控制所述飞行对象的飞行的控制设备、安装在所述飞行对象上并用于获取由在时间序列上相互连续的帧图像构成的视频图像的第一照相机、以与第一照相机的已知关系提供并用于获取要测量对象的光谱图像的第二照相机,以及图像拾取控制设备,并且在所述图像获取系统中,所述飞行对象从第一点移动至第二点,所述GPS设备在地心坐标系中测量第一点的位置和第二点的位置,所述第一照相机获取第一点的静态图像,在从第一点移动至第二点期间获取视频图像,并且进一步地在第二点处获取静态图像,所述第二照相机在预定波长范围内获取两个或更多光谱图像,所述图像拾取控制设备从第一点处的静态图像提取两个或更多特征点,在从第一点移动至第二点期间从视频图像执行视频图像跟踪,在第二点处的静态图像中指定特征点,基于该特征点执行第一点处的静态图像与第二点处的静态图像的立体匹配,基于地心坐标系中的第一点和第二点的位置来准备三维模型,并且所述图像拾取控制设备将两个或更多光谱图像合成,准备光谱合成图像,将三维模型与光谱合成图像合成,并准备具有要测量对象的光谱信息和三维位置数据的四维模型。此外,在根据本发明的图像获取系统中,第二照相机在第一点处的悬停飞行期间在预定波长范围内获取两个或更多光谱图像并在第二点处的悬停飞行期间在预定波长范围内获取两个或更多光谱图像,所述图像拾取控制设备将第一点的两个或更多光谱图像合成,准备第一光谱合成图像,将第二点的两个或更多光谱图像合成,准备第二光谱合成图像,将三维模型与第一光谱合成图像和第二光谱合成图像中的至少一个合成,并准备具有要测量对象的光谱信息和三维位置数据的四维模型。此外,在根据本发明的图像获取系统中,第一照相机在悬停飞行中获取同一位置视频图像,所述图像拾取控制设备对同一位置视频图像的帧图像执行同步,用第二照相机来获取光谱图像,执行帧图像之间的图像跟踪,执行与在时间方面连续的两个光谱图像相对应的两个帧图像的图像匹配,在由图像匹配获得的条件下将两个光谱图像合成,连续地重复帧图像的图像匹配和光谱图像的合成,并将在悬停飞行期间获取的所有光谱图像合成。此外,在根据本发明的图像获取系统中,所述第二照相机在从第一点移动至第二点期间在预定波长范围内获取两个或更多图像。此外,在根据本发明的图像获取系统中,所述图像拾取控制设备执行视频图像与帧图像的同步,用第二照相机来获取光谱图像,执行帧图像之间的图像跟踪,执行与在时间方面连续的两个光谱图像相对应的两个帧图像的图像匹配,在如在图像匹配中获得的条件下将两个光学图像合成,连续地重复帧图像的图像匹配和光谱图像的合成,并将在移动过程期间获取的所有光谱图像合成。根据本发明,一种图像获取设备包括用于获取由在时间序列上连续的帧图像组成的视频图像的第一照相机、与第一照相机处于已知关系并被用于获取要测量对象的两个或更多光谱图像的第二照相机、以及图像拾取控制设备,并且在图像获取设备中,所述图像拾取控制设备被配置成从帧图像中的一个提取两个或更多特征点,以在时间序列上连续的帧图像中连续地指定特征点,基于所述特征点相对于与两个或更多光谱图像相对应的帧图像执行帧图像之间的图像匹配,并根据由图像匹配获得的条件将两个或更多光谱图像合成。结果,可以在其中在光谱图像之间发生偏差的情况下进行修正,并以较高的准确度获取光谱合成图像和超光谱图像。此外,根据本发明,在图像获取设备中,图像拾取控制设备同时地获取帧图像和光谱图像,并基于每个帧图像上的特征点的位置来执行每个光谱图像的相对定位。结果,可以在其中在光谱图像之间发生偏差的情况下进行修正并以较高的准确度对光谱图像进行合成。此外,根据本发明,在图像获取设备中,图像拾取控制设备从由第一照相机拍摄的视频图像的第一帧图像提取至少五个特征点,通过图像跟踪来在第n个帧图像中指定至少五个特征点,基于两个图像的特征点来执行立体匹配,并准备要测量的对象的三维模型。结果,在第n个帧图像中指定特征点将更加容易,并且能够以更容易的方式执行立体匹配。此外,根据本发明,在图像获取设备中,图像拾取控制设备将合成光谱图像的波长分量的信息组合到三维模型。结果,除三维位置信息之外,可以获取包括光谱信息的四维图像。此外,根据本发明,一种图像获取系统包括飞行对象、安装在飞行对象上的GPS设备、用于控制飞行对象的控制设备、安装在飞行对象上并用于获取由在时间序列上相互连续的帧图像组成的视频图像的第一照相机、以与第一照相机成已知关系提供并用于获取要测量的对象的光谱图像的第二照相机、以及图像拾取控制设备,并且在该图像获取系统中,飞行对象从第一点移动至第二点,GPS设备在地心坐标系中测量第一点的位置和第二点的位置,所述第一照相机获取第一点的静态图像,在从第一点移动至第二点期间获取视频图像,并且进一步地在第二点处获取静态图像,所述第二照相机在预定波长范围内获取两个或更多光谱图像,所述图像拾取控制设备从第一点处的静态图像提取两个或更多特征点,在从第一点移动至第二点期间从视频图像执行视频图像跟踪,在第二点处的静态图像中指定特征点,基于特征点来执行第一点处的静态图像与第二点处的静态图像的立体匹配,基于地心坐标系中的第一点和第二点的位置来准备三维模型,并且所述图像拾取控制设备将两个或更多光谱图像合成,准备光谱合成图像,将三维模型与光谱合成图像合成,并准备具有要测量对象的三维位置数据和光谱信息的四维模型。结果,可以获取如在高空中容易地看到的四维模型,并容易地获取要测量对象的任意点处的三维位置数据和光谱信息。此外,根据本发明,在图像获取系统中,所述第二照相机在第一点处的悬停飞行期间在预定波长范围内获取两个或更多光谱图像并在第二点处的悬停飞行期间在预定波长范围内获取两个或更多光谱图像,该图像拾取控制设备将第一点的两个或更多光谱图像合成,准备第一光谱合成图像,将第二点的两个或更多光谱图像合成,准备第二光谱合成图像,将三维模型与所述第一光谱合成图像和第二光谱合成图像中的至少一个合成,并准备具有要测量对象的三维位置数据和光谱信息的四维模型。结果,可以获取如在高空中容易地看到的四维模型,并容易地获取要测量对象的任意点处的三维位置数据和光谱信息。此外,根据本发明,在图像获取系统中,所述第一照相机在悬停飞行中获取同一位置视频图像,所述图像拾取控制设备对该同一位置视频图像的帧图像执行同步,由第二照相机来获取光谱图像,执行帧图像之间的图像跟踪,执行对应于在时间方面连续的两个光谱图像的两个帧图像的图像匹配,在由图像匹配获得的条件下将两个光谱图像合成,连续地重复帧图像的图像匹配和光谱图像的合成,并将在悬停飞行期间获取的所有光谱图像合成。结果,即使当在在其中飞行对象不完全处于悬停状态的条件下获取的两个或更多光谱图像之间发生偏差时,也可以经由帧图像的图像匹配来执行光谱图像之间的定位或匹配,并以较高的准确度来准备光谱合成图像。此外,根据本发明,在图像获取系统中,所述第二照相机在从第一点移动至第二点期间在预定波长范围内获取两个或更多图像。结果,可以获取如在高空中容易地看到的四维模型,并容易地获取要测量对象的任意点处的三维位置数据和光谱信息。此外,根据本发明,在图像获取系统中,所述图像拾取控制设备执行视频图像与帧图像的同步,由第二照相机来获取光谱图像,执行帧图像之间的图像跟踪,执行对应于在时间方面连续的两个光谱图像的两个帧图像的图像匹配,将在如在图像匹配中获得的条件下将两个光学图像合成,连续地重复帧图像的图像匹配和光谱图像的合成,并将在移动过程中获取的所有光谱图像合成。结果,关于在移动期间由飞行对象获取的两个或更多光谱图像,可以经由帧图像的图像匹配来执行光谱图像之间的定位或匹配,并以高准确度来准备光谱合成图像。
图1是示出了在其上面安装有根据本发明的图像拾取设备的小飞行对象的示意 图2是图像拾取设备的照相机单元和图像拾取控制设备的示意性方框 图3是示出了用于测量飞行对象的高度和来自图像的测量点的坐标的数字摄影测量的原理的说明图,所述图像是飞行对象从两个点获取的;
图4是关于其中照相机倾斜的情况下的数字摄影测量中的相对定向的说明 图5A和图5B每个表示示出具有本发明的实施例中的将使用的透射式干涉滤波器的光谱照相机的光学系统的说明图。图5A示出其中光阑孔与光轴同时发生的条件,图5B示出其中光阑孔与光轴分离的条件;
图6是示出通过的光的入射角与峰值波长之间的关系的图表;
图7是示出在光进入干涉滤波器时与入射角匹配的波长传输特性曲线的图表;
图8A和图SB每个表示示出具有本发明的实施例中的将在另一光谱照相机中使用的反射式干涉滤波器的光学系统的说明图。图8A示出其中光阑孔与光轴同时发生的条件且图8B示出其中光阑孔被与光轴分离的条件;
图9A和图9B每个表不不出具有本发明的实施例中的将仍在另一光谱照相机中使用的反射式干涉滤波器的光学系统的说明图。图9A示出其中光阑孔与光轴同时发生的条件且图9B示出其中光阑孔与光轴分离的条件;
图10是示出提供有具有不同特性的多个干涉膜的干涉滤波器的前视 图11示出本实施例中的将获取超光谱图像的条件的说明 图12A和图12B每个表示示出了其中由在悬停状态下飞行的直升飞机获取多个图像的情况下的图像之间的条件的说明 图13是示出本发明的实施例中的操作的流程图; 图14是示出图13中的步骤03和步骤08的细节的流程图;以及 图15是解释本发明的第二实施例中的操作的流程图。
具体实施例方式下面将通过参考附图来给出关于本发明的实施例的说明。本发明的实施例的图像获取设备被安装在小型无人飞行器(UAV)上,例如能够用远程控制操作来操作或者能够自主地飞行的小型直升飞机。图1示出其中安装了根据本实施例的图像获取设备的小型飞行对象I。在图1中,附图标记2表示将安装在地面上的基站控制设备。基站控制设备2能够执行到和来自飞行对象I的数据通信,并且基站控制设备2控制飞行对象I的飞行、设置和修改飞行计划以及存储和管理由飞行对象I收集的信息。飞行对象I是被用作自主地飞行的小型飞行对象的直升飞机。该直升飞机I是由来自基站控制设备2的远程控制进行操作的。或者,从基站控制设备2在直升飞机I的控制设备(未示出)上设置飞行计划,并且控制设备控制导航装置(稍后将描述),并且根据飞行计划来执行自主飞行。控制设备控制导航装置并控制直升飞机I在预定速度下且在预定高度下,并且还能够在某个预定位置处的悬停状态下(固定不动的飞行条件)控制直升飞机
Io直升飞机I具有直升飞机主体3,以及安装在直升飞机主体3上的与要求的一样多的螺旋桨(例如四组螺旋桨4、5、6和7,每个分别安装在前、后、左和右位置处)。螺旋桨4、5、6和7中的每个被单独地与电动机(未示出)耦合,并且每个电动机被设计成被独立地控制。螺旋桨4、5、6和7和电动机等一起组成直升飞机I的导航装置。在直升飞机主体3上,安装有用于测量直升飞机I的参考位置的GPS设备9。在直升飞机I的直升飞机主体3上,提供有机载的图像拾取设备11。图像拾取设备11具有光轴12,并且光轴12被设计成沿着向下方向延伸,从而使得图像拾取设备11沿着直升飞机I的向下方向拍摄各位置的图像。接下来,参考图2,将给出关于图像拾取设备11的近似布置的描述。图像拾取设备11具有照相机单元13和图像拾取控制设备21。图像拾取控制设备21能够基于由照相机单元13获取的图像数据并基于来自GPS设备9的位置信息执行要测量对象的数字摄影测量,并执行处理,诸如由照相机单元13获取的光谱数据与图像数据的合成或其它类型的处理。首先,将给出关于照相机单元13的描述。照相机单元13包括被用作第一照相机的图像照相机14和被用作第二照相机的光谱照相机15。光轴12被半反射镜16划分。图像照相机14提供于一个光轴12a上,并且光谱照相机15提供于另一光轴12b上。图像照相机14按照原样获取要测量对象的图像(真实图像),并且光谱照相机15获取光谱图像。如上所述,图像照相机14和光谱照相机15具有公共的光轴12,并且图像照相机14和光谱照相机15处于已知关系。或者,可以单独地提供图像照相机14和光谱照相机15。并且,图像照相机14的光轴和光谱照相机15的光轴被相互平行地设置。光轴之间的距离是已知的,并且图像照相机14和光谱照相机15被以相互的已知关系设置。
图像照相机14拍摄要测量点处的图像并输出数字图像数据。图像照相机14可以是以预定时间间隔拍摄静态图像的照相机或将连续地拍摄图像的视频照相机。图像照相机14具有CXD或CMOS传感器,其为作为图像拾取元件14a的像素的集合体,并且光轴12a与图像拾取元件14a之间的关系是以使得光轴12a垂直地通过图像拾取元件14a的中心(即摄影检测表面的坐标的中心)这样的方式设置的。因此,其被设计成使得图像拾取元件14a的每个像素能够指定图像拾取元件14a上的位置,并且此外能够识别每个像素的场角(即相对于光轴12的角度)。光谱照相机15具有CXD或CMOS传感器,其为作为图像拾取元件15a的像素的集合体,与图像照相机14的情况类似,并且光轴12b与图像拾取元件15a之间的关系是以使得光轴12b垂直地通过图像拾取元件15a的中心(即摄影检测表面的坐标的中心)这样的方式设置的。因此,图像拾取元件15a的每个像素能够识别图像拾取元件15a上的位置(坐标),并且能够识别每个像素的场角(即相对于光轴12的角度)。此外,图像拾取元件15a的每个像素和图像拾取元件14a的每个像素以一对一关系匹配。现在,将给出关于图像拾取控制设备21的描述。图像拾取控制设备21包括运算控制单元(CPU) 22、图像数据记录单元23、图像控制器24、照相机控制单元25、光谱照相机控制器26、光谱数据存储单元27、图像合成单元28、图像处理单元29、特性提取单元31、匹配单元32、测量单元33、模型图像准备单元34、显示单元35和存储单元36。照相机控制单元25同时地控制图像照相机14和光谱照相机15。图像控制器24基于来自照相机控制单元25的指令信号来驱动图像照相机14并获取图像数据(真实图像数据)。这样获取的图像数据与图像拾取时间相关联并被存储在图像数据记录单元23中。光谱照相机控制器26根据来自照相机控制单元25的指令来驱动光谱照相机15并获取光谱图像数据。光谱图像数据与时间相关联并被存储在光谱数据存储单元27中。图像合成单元28将存储在图像数据记录单元23中的图像数据与存储在光谱数据存储单元27中的光谱图像数据合成,从而以使得一个图像的所有像素都具有光谱信息这样的方式合成超光谱图像。图像处理单元29具有特性提取单元31和匹配单元32,并且能够从一个帧的图像数据提取至少五个或更多特征点(通过点)。然后,根据在时间方面不同的图像数据上的特征点或根据从不同的图像拾取点获取的图像数据来执行图像的跟踪和图像的匹配。针对图像跟踪和图像匹配,使用SSDA方法(序列相似性检测算法)、归一化互相关方法、最小二乘匹配法等。测量单元33实现用以基于由图像照相机14从不同的图像拾取位置获取的两个图像数据来执行数字摄影测量的功能。模型图像准备单元34用来使由测量单元33测量的每个像素的距离数据与超光谱图像相关联,并准备模型图像,其具有四维数据,即二维位置数据(平面坐标数据)+光谱数据+高度数据。在第一存储单元36中,存储了各种类型的程序。这些程序包括照相机控制所需的程序、图像数据和光谱图像数据的合成所需的程序、图像处理所需的程序、测量所需的程序、模型图像的准备所需的程序、用于控制显示单元35的程序等。可以在存储单元36的一部分中准备图像数据记录单元23和光谱数据存储单元27。接下来,参考图3和图4,将给出关于用数字摄影测量进行的距离测量的描述。在这里认为在图3中,直升飞机I从点01飞到点02,并且在点01和点02处拍摄图像。从点01至点02的距离B是摄影基线长度。数字41-1和数字41-2每个分别表示点01和点02处的图像拾取设备11的图像拾取元件41,并且图像拾取元件41-1和41-2等价于图像数据。图3示出图像拾取设备11的光轴12沿垂直方向行进的情况,即其中直升飞机I处于水平姿势的情况。在点01处拍摄的图像上的测量点P的位置(即图像拾取元件上的位置)将是Pl(xl,yl),并且在点02处拍摄的图像上的测量点P的位置(即图像拾取元件上的位置)将是p2 (x2, y2)。根据三角形(01,02和P)、三角形(01,pi)和三角形(02,p2)的相似性关系将图像拾取设备11的焦距f和从摄影基线长度B至点P的距离Z(直升飞机I的高度距离)确定为·
Z = -Bf/(xl + x2)
在这里,可以用GPS设备9来测量点01和点02的地面坐标。摄影基线长度B是两个点之间的距离,即点01与点02之间的距离,并且能够基于GPS设备9的测量结果来获得摄影基线长度B。并且,根据GPS设备9的测量,能够同样地根据pi (xl,yl)和p2(x2,y2)及根据点01和点02的地心位置来确定测量点P的地心位置(平面坐标)。因此,根据在直升飞机I的移动过程中连续地拍摄的两个图像,能够实时地确定直升飞机I的高度(即距离地面的高度)(高度距离的测量)。在如上所述的数字摄影测量中,pi (xl, yl)和p2 (x2, y2)对应于在点01处拍摄的左图像42和在点02处拍摄的右图像43的公共点,并且将Pl和P2称为通过点。可以用对在点01处获取的左图像42的诸如边缘处理或其它处理的图像处理来获得左图像42中的点pi作为特征点。在图4中,仅示出了一个点。然而,实际上,提取多个点作为特征点。由称为视频图像跟踪的过程来执行用以在右图像43中指定对应于点Pl的点p2的程序。该视频图像由在时间序列上连续的帧图像组成。在视频图像跟踪中,从点01至点02连续地获取视频图像(帧图像),并且在搜索范围内设置一个帧图像中的包括点Pl的预置范围。在接下来的帧图像内的搜索范围中,该帧图像在时间方面彼此相邻,搜索对应于点Pl的点,并且此外指定该点。反复地执行相对于下一个帧图像的预置范围内的搜索和所述指定,并且最后在右图像43中指定点p2。在日本专利申请公开JP-A-2006-10376中描述了该视频图像跟踪。由飞行控制单元(未示出)在水平位置处控制直升飞机1,但是在诸如风的各种原因的影响下,水平姿势可能被干扰。因此,点01处的图像拾取设备11的姿势可能不同于点02处的图像拾取设备11的姿势。图4是示出在点01处拍摄的图像拾取元件41-1的条件和在点02处拍摄的图像拾取元件41-2的倾斜条件的示意图。由图像拾取元件41-1拍摄的左图像42和由图像拾取元件41-2拍摄的右图像43也处于类似条件。使用光轴12的纵轴(Z轴)作为参考,用绕Z轴为中心的旋转角K、用绕第一横轴(X轴)为中心的旋转角《并用绕第二横轴(Y轴)为中心的旋转角0来表示图像的倾斜。通过在点01处拍摄的图像和在点02处拍摄的图像上的相对定向并且通过使用K、《和小作为变量,能够将该条件转换成如图中的虚线所示的条件(即图3所示的条件)。通过执行相对定向,能够计算测量点P的三维坐标。此外,能够确定点Ol处和点02处的直升飞机I的高度。在这里,能够用陀螺仪单元(未示出)来测量点01和点02处的三个轴中的每一个的旋转角,并且能够根据图像拾取元件41的像素位置来测量点01处的图像中的点pi的坐标(xl,yl)和点02处的图像中的点p2的坐标(x2,y2)。因此,在这里假设相对定向之后的已转换坐标系中的Pl的坐标(模型坐标)是(XI,Yl, Z1),并且相对定向之后的已转换坐标系中的P2的坐标(模型坐标)是(X2,Y2, Z2),并且图像拾取设备11的焦距是f。然后,能够如下地所给出表示已转换坐标系中的pi和p2的坐标(模型坐标)
权利要求
1.一种图像获取设备,包括用于获取由在时间序列上连续的帧图像组成的视频图像的第一照相机、与所述第一照相机处于已知关系并被用于获取要测量对象的两个或更多光谱图像的第二照相机以及图像拾取控制设备,其中,所述图像拾取控制设备被配置成从所述帧图像中的一个提取两个或更多特征点,在在时间序列上连续的帧图像中连续地指定所述特征点,基于所述特征点关于对应于所述两个或更多光谱图像的帧图像执行帧图像之间的图像匹配,并根据由所述图像匹配获得的条件将所述两个或更多光谱图像合成。
2.根据权利要求1所述的图像获取设备,其中,所述图像拾取控制设备同步地获取所述帧图像和所述光谱图像,并基于每个帧图像上的所述特征点的位置来执行每个光谱图像的相对定位。
3.根据权利要求1所述的图像获取设备,其中,所述图像拾取控制设备从由所述第一照相机拍摄的视频图像的第一帧图像提取至少五个特征点,通过图像跟踪在第η个帧图像中指定所述至少五个特征点,基于两个图像的所述特征点来执行立体匹配,并准备所述要测量对象的三维模型。
4.根据权利要求3所述的图像获取设备,其中,所述图像拾取控制设备将所述合成光谱图像的波长分量的信息组合到所述三维模型。
5.根据权利要求1所述的图像获取设备,其中,由所述第二照相机获取的光谱图像被作为关于预定波长范围的二维图像获 取。
6.一种图像获取系统,包括飞行对象、安装在所述飞行对象上的GPS设备、用于控制所述飞行对象的飞行的控制设备、安装在所述飞行对象上并用于获取由在时间序列上相互连续的帧图像组成的视频图像的第一照相机、以与所述第一照相机的已知关系提供并用于获取要测量对象的光谱图像的第二照相机以及图像拾取控制设备,其中,所述飞行对象从第一点移动至第二点,所述GPS设备在地心坐标系中测量第一点的位置和第二点的位置,所述第一照相机获取第一点的静态图像,在从第一点移动至第二点期间获取视频图像,并且进一步地,在第二点处获取静态图像,所述第二照相机在预定波长范围内获取两个或更多光谱图像,所述图像拾取控制设备从第一点处的静态图像提取两个或更多特征点,在从第一点移动至第二点期间从视频图像执行视频图像跟踪,在第二点处的静态图像中指定所述特征点,基于所述特征点来执行第一点处的静态图像与第二点处的静态图像的立体匹配, 基于地心坐标系中的所述第一点和所述第二点的位置来准备三维模型,并且所述图像拾取控制设备将两个或更多光谱图像合成,准备光谱合成图像,将所述三维模型与所述光谱合成图像合成,并准备具有所述要测量对象的三维位置数据和光谱信息的四维模型。
7.根据权利要求6所述的图像获取系统,其中,所述第二照相机在第一点处的悬停飞行期间在预定波长范围内获取两个或更多光谱图像并在第二点处的悬停飞行期间在预定波长范围内获取两个或更多光谱图像,所述图像拾取控制设备将第一点的两个或更多光谱图像合成,准备第一光谱合成图像,将第二点的两个或更多光谱图像合成,准备第二光谱合成图像,将所述三维模型与所述第一光谱合成图像和所述第二光谱合成图像中的至少一个合成,并准备具有所述要测量对象的三维位置数据和光谱信息的四维模型。
8.根据权利要求6或权利要求7所述的图像获取系统,其中,所述第一照相机在所述悬停飞行中获取同一位置视频图像,所述图像拾取控制设备对所述同一位置视频图像的帧图像执行同步,由所述第二照相机来获取光谱图像,执行帧图像之间的图像跟踪,执行对应于在时间方面连续的两个光谱图像的两个帧图像的图像匹配,在由所述图像匹配获得的条件下将所述两个光谱图像合成,连续地重复所述帧图像的所述图像匹配和光谱图像的合成, 并将在所述悬停飞行期间获取的所有光谱图像合成。
9.根据权利要求6所述的图像获取系统,其中,所述第二照相机在从第一点移动至第二点期间在预定波长范围内获取两个或更多光谱图像。
10.根据权利要求9所述的图像获取系统,其中,所述图像拾取控制设备执行视频图像与帧图像的同步,由所述第二照相机来获取光谱图像,执行帧图像之间的图像跟踪,执行对应于在时间方面连续的两个光谱图像的两个帧图像的图像匹配,将在所述图像匹配中获得的条件下将所述两个光学图像合成,连续地重复所述帧图像的所述图像匹配和光谱图像的合成,并将在所述移动过程期间获取的所有光谱图像合成。
全文摘要
本发明涉及图像获取设备和图像获取系统。一种图像获取设备包括用于获取由在时间序列上连续的帧图像组成的视频图像的第一照相机14、与所述第一照相机处于已知关系并被用于获取要测量对象的两个或更多光谱图像的第二照相机15以及图像拾取控制设备21,并且在该图像获取设备中,所述图像拾取控制设备被配置成从所述帧图像中的一个提取两个或更多特征点,在在时间序列上连续的帧图像中连续地指定所述特征点,基于所述特征点关于对应于所述两个或更多光谱图像的帧图像执行帧图像之间的图像匹配,并根据由所述图像匹配获得的条件将所述两个或更多光谱图像合成。
文档编号G01C11/00GK103033169SQ20121036733
公开日2013年4月10日 申请日期2012年9月28日 优先权日2011年9月28日
发明者大友文夫, 大谷仁志, 籾内正幸, 大佛一毅 申请人:株式会社拓普康