专利名称：路面检验装置的制作方法
技术领域：
这里讨论的实施例涉及一种路面检验装置。
背景技术：
路面因车辆交通负荷和自然环境的作用而劣化。因此，诸如路面状态测量车辆的特种车辆在道路上驾驶以定期检验道路上的铺筑地面的状态。作为检验结果，当在道路的路面上检测到隆起、凹槽或裂缝时，执行道路的维修。专利文献1:日本公开专利公布第2001-134889号然而，在相关技术中，存在如下问题:难于在早期阶段检测路面劣化。就是说，由于路面状态测量车辆是昂贵的和稀少的，因此难于频繁地执行路面的检验。因此，当使用路面状态测量车辆检验路面时，难于在早期阶段检测路面劣化。结果，路面劣化的检测延迟，并且维修成本增加。因此，本发明的实施例的一个方面的目的在于提供一种能够在早期阶段检测路面劣化的路面检验装置。
发明内容
根据实施例的一个方面，路面检验装置包括:存储器和耦合到存储器的处理器。该处理器执行如下处理，其包括:从图像存储部中存储的图像上的路面检测路面上的异常区域，该图像存储部相关地存储其中由安装在车辆上的成像装置拍摄道路路面的图像和图像的拍摄时间；首先确定异常区域是否与轨迹存储部中存储的车轮轨迹重叠，该轨迹存储部存储由成像装置拍摄的图像上的、预期车辆的车轮沿着其在路面上通行的轨迹，或者车辆的车轮沿着其在路面上通行的轨迹；以及当确定异常区域与车轮轨迹重叠时，其次确定在加速度存储部中存储的加速度中的、在对应于图像的拍摄时间的测量时间处的加速度是否在预定范围之外，该加速度存储部相关地存储在路面上驾驶期间由安装在车辆上的加速度传感器测量的加速度和加速度的测量时间。
图1是图示根据第一实施例的路面检验系统的配置的示图；图2是图示根据第一实施例的简化装置的功能配置的框图；图3是图示根据第一实施例的路面检验装置的功能配置的框图；图4是图示车轮轨迹数据的示例的示图；图5是图示用于浏览数据的描述的标签的示例的示图；图6是图示浏览数据的配置示例的示图；图7是图示道路图像的示例的示图；图8是图示道路图像的示例的示图；图9是图示道路图像的示例的示图10是图示传送到订户终端的屏幕的示例的示图；图11是图示传送到订户终端的屏幕的示例的示图；图12是图示根据第一实施例的路面检验处理的流程的流程图；图13是图示车轮轨迹数据的修改示例的示图；以及图14是用于描述执行根据第一和第二实施例的路面检验程序的计算机的示例。
具体实施例方式将参照
优选实施例。这些实施例并非限制这里公开的技术。各实施例可以在其中处理内容不彼此矛盾的范围内彼此适当地组合。[a]第一实施例系统配置首先，将描述根据该实施例的路面检验系统的配置。图1是图示根据第一实施例的路面检验系统的配置的示图。图1中所示的路面检验系统I根据在道路上驾驶期间由安装在巡逻车3上的简化装置30获取的图像和加速度来检测路面劣化。如图1中所示，路面检验系统I包括路面检验装置10、简化装置30和订户终端50。在图1的示例中，尽管图示了其中路面检验系统I包括一个简化装置30和一个订户终端50的情况，但是所公开的系统不限于此，并且所公开的系统可以应用于其中包括任意数目的简化装置和订户终端的情况。路面检验装置10、简化装置30和订户终端50被连接成使得它们可以经由网络7彼此通信。作为网络7，可以采用诸如互联网、局域网(LAN)或虚拟私人网络(VPN)的可选的通信网络，与网络7是有线网络还是无线网络无关。路面检验装置10和简化装置30可以经由存储器卡20以及网络7交换数据。简化装置30是安装在巡逻车3上的车载机器。其上安装简化装置30的巡逻车3是用于巡逻道路的车辆，并且可以采用可选类型的汽车作为巡逻车3，与诸如轻型汽车、普通汽车或大型汽车的车辆尺寸，诸如普通车辆、运营车辆或特种用途车辆的车辆的用途，以及诸如四轮车辆或两轮车辆的车辆的车轮数目无关。允许后面描述的路面检验装置10检测路面劣化的最小数目的传感器安装在简化装置30上。例如，简化装置30包括相机31、重力(G)传感器32和全球定位系统(GPS)单元33。尽管图1的示例图示了其中三个传感器安装在简化装置30上的情况，但是当至少相机31和G传感器32安装在简化装置30上时，简化装置30可以允许路面检验装置10检测路面劣化。在这些传感器中，相机31附接在其中相机31能够对道路路面成像的位置。例如，相机31可以附接到巡逻车3前面的预定位置(例如，前车号牌周围)，或者可以附接到巡逻车3的后面的预定位置(例如，后号牌周围)。此外，G传感器32和GPS单元33可以附接到巡逻车3的可选位置。在该情况下，当G传感器32设置在其中车体震动不会被巡逻车3的悬挂吸收的位置时，除了诸如隆起、凹槽或裂缝的路面劣化以外的、诸如小石块或斜坡的倾斜的微小震动导致了测量的重力加速度的增加。因此，G传感器32优选地设置在其中车体震动被巡逻车3的悬挂吸收的位置。在下面的描述中，由相机31拍摄的道路的图像有时被称为“道路图像”。此外，在下面的描述中，包括由G传感器32测量的重力加速度的加速度数据以及包括由GPS单元33测量的经度和纬度的坐标值的位置数据有时被共同称为“感测数据”。简化装置30将道路图像和感测数据上载到路面检验装置10。作为一个实施例，简化装置30经由网络7上载感测数据并且经由存储器卡20上载道路图像。如同上文，当经由存储器卡20执行上载时，简化装置30将包括多个道路图像的帧的影片的视频数据写入到存储器卡20中。存储器卡20被巡逻车3上的检验人员携带到路面检验装置10或订户终端50，并且在将存储器卡20插入到在路面检验装置10或订户终端50上安置或安装的读卡器之后读取视频数据。在该情况下，当订户终端50读取视频数据时，经由网络7将视频数据从订户终端50上载到路面检验装置10。作为存储器卡20，可以采用诸如闪速存储器或非易失性静态随机存取存储器(NVSRAM)的、能够重写数据的半导体存储器。此外，可以使用诸如硬盘或光盘的存储装置来替代存储器卡20。如同上文，当简化装置30安装在巡逻车3上时，不必在诸如路面状态测量车辆的车辆中设置许多基于雷达的位移计或者许多相机，并且不必设置用于通过基于雷达的位移计或者相机执行自适应测量的测量控制装置。在该示例中，尽管已说明了其中经由存储器卡20上载道路图像的情况，但是可以与感测数据相似地经由网络7上载道路图像。此外，当经由网络7上载视频数据或感测数据时，可以实时上载数据并且可以按批量处理上载数据。路面检验装置10是提供路面检验服务的服务器装置。路面检验装置10可以被实现为web服务器并且可以被实现为云服务器。作为一个实施例，路面检验装置10使用从简化装置30上载的视频数据和感测数据来检测路面劣化。此后，在接收到来自后面描述的订户终端50的劣化位置浏览请求时，路面检验装置10将如下信息提供给订户终端50。就是说，路面检验装置10将其中检测到路面劣化的道路图像、道路图像的拍摄时间周围的重力加速度的改变、以及纬度和经度的坐标值提供给订户终端50。订户终端50是订购路面检验服务的订户使用的终端装置。作为订户终端50的一个实施例，可以采用包括个人计算机(PC)的固定终端。作为另一实施例，还可以采用诸如便携式电话、个人手持电话系统(PHS)或个人数字助理(PDA)的移动终端。这里，根据该实施例的路面检验装置10从由相机31拍摄的道路图像上的路面检测路面上的铺筑地面的异常区域。此外，根据该实施例的路面检验装置10确定检测到的异常区域是否与道路图像上的、巡逻车3的车轮沿着其在路面上通行的轨迹重叠。此外，当异常区域与车轮轨迹重叠时，根据该实施例的路面检验装置10确定在路面上的驾驶期间在G传感器32测量的加速度中的、在对应于道路图像的拍摄时间的测量时间处的加速度是否在预定范围之外。如同上文，在根据该实施例的路面检验装置10中，如果至少获得由相机31拍摄的道路图像和由G传感器32测量的重力加速度，则可以检测路面劣化。因此，在根据该实施例的路面检验装置10中，不必在诸如路面状态测量车辆的车辆中设置许多基于雷达的位移计或者许多相机，并且不必设置用于通过基于雷达的位移计或者相机执行自适应测量的测量控制装置。因此，在根据该实施例的路面检验装置10中，由于可以降低巡逻车3的装备成本并且简化巡逻车3的配置，因此可以频繁地检验路面。因此，基于根据该实施例的路面检验装置10，可以在早期阶段检测路面劣化。此夕卜，在根据该实施例的路面检验装置10中，由于可以在早期阶段检测路面劣化，因此可以降低维修路面的成本。简化装置30的配置接下来，将描述根据该实施例的路面检验系统中包括的简化装置30的功能配置。图2是图示根据第一实施例的简化装置30的功能配置的框图。如图2中所示，简化装置30包括相机31、G传感器32、GPS单元33、存储单元34、通信接口( I/F)单元35、读取器/写入器36和上载控制单元37。除了以上传感器，简化装置30可以将进一步包括另一传感器，诸如例如车辆速度传感器或转向角度传感器。在这些传感器中，相机31是成像装置，其使用诸如电荷耦合器件(CXD)或互补金属氧化物半导体(CMOS)的成像元件来拍摄图像。作为一个实施例，当以预定帧速率拍摄道路图像时，相机31通过将拍摄时间作为报头信息嵌入在道路图像的帧中使道路图像与拍摄时间相关，并且随后将道路图像存储在存储单元34中。拍摄时间可以是从道路图像的第一帧起经过的时间，并且可以使用根据时间戳记等测量的全局时间。此外，帧速率可以被设定为使得道路的同一位置在道路图像的帧之间部分重叠的值。例如，可以采用每秒24帧(fpS)、30fpS、60fpS等。在下面的描述中，假设其中由编码器(未示出)将道路图像编码成影片的编码数据的视频数据被存储在下文描述的存储单元34中。G传感器32是测量重力加速度的传感器。作为一个实施例，当测量重力加速度时，G传感器32将其中重力加速度和测量时间相关的加速度数据存储在下面描述的存储单元34中。作为测量加速度的方法，可以采用诸如机械方法或者包括半导体方法的光学方法的可选的方法。在下面的描述中，尽管考虑了其中G传感器32以一秒的周期测量重力加速度的情况，但是G传感器32的测量周期不限于此，并且G传感器32可以应用于其中以可选的周期测量重力加速度的情况。此外，尽管该示例图示了其中简化装置30包括测量重力加速度的G传感器32的情况，但是也可以采用测量X、Y和Z轴方向上的加速度的三轴加速度传感器。GPS单元33是通过接收来自多个GPS卫星的无线电波并且计算距各个GPS卫星的距离来测量纬度和经度的坐标值的单元。作为一个实施例，当测量纬度和经度的坐标值时，GPS单元33将位置数据存储在下文描述的存储单元34中，使得坐标值和测量时间相关。在下面的描述中，尽管考虑了其中GPS单元33以一秒的周期测量纬度和经度的坐标值的情况，但是GPS单元33的测量周期不限于此，并且GPS单元33可以应用于其中以可选的周期测量坐标值的情况。存储单元34是存储各种类型的数据的储存装置。作为存储单元34的一个实施例，除了诸如闪速存储器或非易失性静态随机存取存储器(NVSRAM)的能够重写数据的半导体存储器之外，可以采用诸如硬盘或光盘的储存装置。例如，存储单元34存储包括视频数据的诸如加速度数据或位置数据的感测数据。除此之外，存储单元34存储车轮轨迹数据，其表示道路图像上的、巡逻车3的车轮沿着其在路面上通行的预期轨迹。使用附接到巡逻车3的相机31的附接角度，通过校准道路图像上的预期车轮通行的区域的尺寸和位置来设定车轮轨迹数据。通信I/F单元35是控制与其他装置，例如与路面检验装置10的通信的接口。例如，通信I/F单元35将存储单元34中存储的感测数据传输到路面检验装置10。作为通信I/F单元35的实施例，可以采用诸如LAN卡的网络接口卡(NIC)或者调制解调器。在该示例中，尽管图示了其中经由通信I/F单元35将感测数据传送到路面检验装置10的情况，但是经由通信的上载不是必须执行的。例如，可以经由存储器卡20上载感测数据。在该情况下，由后面描述的上载控制单元37控制读取器/写入器36，由此将感测数据写入到存储器卡20。读取器/写入器36是从存储器卡20读取数据并且将数据写入存储器卡20的装置。作为一个实施例，在其中存储器卡20附接到预定位置的状态下，读取器/写入器36在接收到来自后面描述的上载控制单元37的写入指令时，连同存储单元34中存储的视频数据一起将车轮轨迹数据写入到存储器卡20。上载控制单元37是控制对路面检验装置10的上载的处理单元。作为一个实施例，当诸如加速度数据和位置数据的感测数据被G传感器32或GPS单元33写入到存储单元34时，上载控制单元37控制通信I/F单元35以便将感测数据传送到路面检验装置10。此外，当从道路检验人员接收到写入视频数据的操作时，或者当存储单元34中存储的视频数据量达到预定数据尺寸时，上载控制单元37执行如下处理。就是说，上载控制单元37控制读取器/写入器36以便将车轮轨迹数据连同存储单元34中存储的视频数据一起写入存储器卡20。在该情况下，上载控制单元37可以仅在相机31的附接位置改变时将车轮轨迹数据写入存储器卡20，使得不会冗余地上载相同的车轮轨迹数据。此外，当感测数据被传送到路面检验装置10时或者当视频数据被写入存储器卡20时，上载控制单元37从存储单元34删除上载的感测数据和视频数据。可以采用各种类型的集成电路和电子电路作为上载控制单元37。专用集成电路(ASIC)是集成电路的示例。此外，中央处理单元(CPU)和微处理单元(MPU)是电子电路的示例。路面检验装置10的配置接下来，将描述根据该实施例的路面检验装置10的功能配置。图3是图示根据第一实施例的路面检验装置10的功能配置的框图。如图3中所示，路面检验装置10包括读取器/写入器11、通信I/F单元12、存储单元13和控制单元15。在这些功能单元中，读取器/写入器11是从存储器卡20读取数据并且将数据写入存储器卡20的装置。作为一个实施例，在其中存储器卡20附接到预定位置的状态下，在接收到来自下文描述的登记单元15a的读取指令时，读取器/写入器11连同存储器卡20中存储的视频数据一起读取车轮轨迹数据。此外，读取器/写入器11向下文描述的登记单元15a输出视频数据和车轮轨迹数据。通信I/F单元12是控制与其他装置，例如与简化装置30或订户终端50的通信的接口。例如，通信I/F单元12从简化装置30接收感测数据并且将待由道路检验人员浏览的浏览数据传送到订户终端50。作为通信I/F单元12的实施例，可以采用诸如LAN卡的网络接口卡。存储单元13是诸如半导体存储器器件(例如，闪速存储器)、硬盘或光盘的储存装置。存储单元13不限于上述储存装置，可以使用随机存取存储器(RAM)或者只读存储器(ROM)0存储单元13存储由控制单元15执行的操作系统(OS)以及诸如用于检验路面的路面检验程序的各种程序。此外，作为用于由控制单元15执行的程序的执行的数据示例，存储单元13存储视频数据13a、感测数据13b、车轮轨迹数据13c和浏览数据13d。视频数据13a是由安装在巡逻车3上的相机31成像的道路的视频数据。作为一个示例，在视频数据13a中，对于巡逻车3的每个车辆编号，由读取器/写入器11从存储器卡20读取的视频数据由后面描述的登记单元15a登记。作为另一示例，视频数据13a被后面描述的异常区域检测单元15b引用以便检测道路图像上的异常区域，诸如其中在路面的铺筑地面中存在变色的区域。感测数据13b是包括由安装在巡逻车3上的传感器获取的加速度数据和位置数据的数据。作为一个示例，在感测数据13b中，对于巡逻车3的每个车辆编号，由后面描述的登记单元15a登记从简化装置30接收到的感测数据。作为另一示例，感测数据13b被后面描述的加速度确定单元15d引用以便确定在重力加速度中是否存在诸如不规则的异常。车轮轨迹数据13c是表示道路图像上的、巡逻车3的车轮沿着其在路面上通行的预期轨迹的数据。作为一个示例，在车轮轨迹数据13c中，对于巡逻车3的每个车辆编号，由下文描述的登记单元15a登记从简化装置30接收到的车轮轨迹数据。作为另一示例，车轮轨迹数据13c由下文描述的重叠确定单元15c引用以便确定道路图像上的、其中在路面的铺筑地面中检测到变色等的异常区域是否与巡逻车3的车轮沿着其在路面上通行的预期轨迹重叠。图4是图示车轮轨迹数据13c的示例的示图。在图4的示例中,将考虑其中相机31附接到巡逻车3的前面的情况。图4中所示的附图标记200表示道路图像。此外，图4中所示的附图标记200L和200R表示道路图像200上的、巡逻车3的车轮沿着其在路面上通行的预期轨迹。通过使用附接到巡逻车3的相机31的附接角度校准道路图像上的、预期左轮和右轮通行的区域的尺寸和位置，来设定车轮轨迹数据13c。如图4中所示，道路图像200上的、预期巡逻车3的左轮沿着其在路面上通行的轨迹200L以及道路图像200上的、预期巡逻车3的右轮沿着其在路面上通行的轨迹200R的两个区域被定义为车轮轨迹数据13c。在图4的示例中，尽管图示了其中轨迹200L和200R的水平方向上的宽度是固定的情况，但是轨迹200L和200R优选地被定义为使得水平方向上的宽度随着轨迹接近道路图像200中的消失点而减小。浏览数据13d是将由道路检验人员浏览的各种类型的数据。作为一个示例，当在预期巡逻车3的车轮通过道路图像上的、其中在路面的铺筑地面中检测到变色的异常区域的定时，在重力加速度中检测到诸如不规则的异常时，生成允许道路检验人员检查维修的必要性的劣化数据。就是说，由后面描述的生成单元15e生成作为浏览数据的劣化数据，其中在路面的铺筑地面中检测到诸如变色的异常的道路图像的拍摄时间周围的重力加速度的改变、纬度和经度的坐标值、包括道路图像是相关的。作为另一示例，即使在道路图像上在路面的铺筑地面中检测到变色，当异常区域不与预期巡逻车3的车轮沿着其通行的轨迹重叠时，仍生成用于提示在巡逻车3的下一次巡逻时检验的劣化候选者数据。就是说，由后面描述的生成单元15e生成作为浏览数据的劣化候选者数据，其中在路面的铺筑地面中检测到诸如变色的异常的道路图像的拍摄时间周围的重力加速度的改变、纬度和经度的坐标值、包括道路图像是相关的。图5是图示用于描述浏览数据的标签的示例的示图。如图5中所示，在浏览数据13d的描述中，使用三个标签“caption”、“date”和“pointData”。在这些标签中，标签“caption”是用于描述关于数据的注释的标签。标签“date”是用于描述视频数据的拍摄日期的标签。标签“pointData”是用于描述关于检测到路面劣化的点的各种信息项的标签。此夕卜，“pointData”被进一步分级成六个低级标签，包括“mark”、“Iat，，、“lng，，、“movie”、“frame”和“Gv”。在这些标签中，标签“mark”是用于描述浏览数据是用于检查维修的劣化数据还是用于下一次检验的劣化候选者数据的标签。标签“ Iat”是用于描述纬度的坐标值的标签。标签“lng”是用于描述经度的坐标值的标签。标签“movie”是用于描述视频数据的文件名称的标签。标签“frame”是用于描述道路图像的拍摄时间的标签。标签“Gv”是用于描述关于G传感器的各种信息项的标签。此外，标签“Gv”被进一步分级成两个低级标签，包括“time”和“gdata”。在这些标签中，标签“time”是用于描述G传感器测量重力加速度的测量时间的标签。标签“gdata”是用于描述G传感器测量的重力加速度的标签。图6是图示用于描述浏览数据的标签的示例的示图。在图6的示例中，浏览数据13d表示第三巡逻车3在2011/12/07 (yyyy/mm/dd)启用路线a。此外，图6中所示的第一行上的“pointData”表示该数据是用于检查维修的劣化数据，其中在预期巡逻车3的车轮通过在道路图像上的、其中在路面的铺筑地面中检测到变色的异常区域的定时，在重力加速度中检测到诸如不规则的异常。此外，图6中所示的第一行上的“pointData”表示在纬度是“33:23:382 (hh:mm: sss)”并且经度是“ 131:60:612”的位置拍摄其中检测到路面劣化的道路图像。此外，图6中所示的第一行上的“pointData”表示包括道路图像的视频数据的文件名称是“b2.flv”。此外，图6中所示的第一行上的“pointData”表示其中检测到路面劣化的道路图像的拍摄时间是“12:55:45 (hh:mm:SS)”。此外，图6中所示的第一行上的“pointData”表示在预期巡逻车3的车轮通过在道路图像上的、其中在路面的铺筑地面中检测到变色的异常区域的定时周围的三分钟“12:55:45至12:58:45”测量如下重力加速度。就是说，“pointData”表示从时间12:55:45起在每秒重力加速度从0.9876 cm/s2变为1.2654 cm/s2、0.9912cm/s2等。图6的示例图示了其中相机31附接到巡逻车3的前面，并且从道路图像的拍摄时间起三分钟的重力加速度的改变与其中检测到路面劣化的道路图像相关的情况。控制单元15包括其中描述各种处理过程的程序以及用于存储控制数据的内部存储器，并且使用该程序和控制数据执行各种处理。如图3中所示，控制单元15包括登记单元15a、异常区域检测单元15b、重叠确定单元15c、加速度确定单元15d、生成单元15e和提供单元15f。在这些单元中，登记单元15a是将从简化装置30上载的感测数据、车轮轨迹数据和视频数据登记在存储单元13中的处理单元。作为一个实施例，当读取器/写入器11从存储器卡20读取视频数据时，对于巡逻车3的每个车辆编号，登记单元15a将视频数据登记在存储单元13中。作为另一实施例，当读取器/写入器11从存储器卡20读取车轮轨迹数据时，对于巡逻车3的每个车辆编号，登记单元15a将车轮轨迹数据登记在存储单元13中。作为另一实施例，当从简化装置30接收感测数据时，对于巡逻车3的每个车辆编号，登记单元15a将感测数据登记在存储单元13中。异常区域检测单元15b是使用视频数据13a从道路图像上的路面检测路面的铺筑地面的异常区域的处理单元。
作为一个实施例，当新的视频数据13a登记在存储单元13中时，异常区域检测单元15b开始其处理。首先，异常区域检测单元15b依次读取存储在存储单元13中的视频数据13a中包括的道路图像的帧。此外，异常区域检测单元15b指定道路图像内的将经历图像处理的对象区域。例如，异常区域检测单元15b计算通过根据道路图像内的相机31的视角进行校准而预先获得的没影点Vp的高度Hl的预定分数(例如，半高度H2)。此外，异常区域检测单元15b将道路图像缩窄到具有计算的高度H2或更小的区域E并且随后执行后继图像处理。限制将经历图像处理的对象区域的原因在于排除在道路图像上的没影点附近并且其中仅从将经历图像处理的对象区域拍摄小量的细节的区域，并且减少与图像处理相关联的计算量。在下面的描述中，道路图像内的具有高度H2或更小的区域有时被称为“图像处理执行对象区域”。此后，异常区域检测单元15b从指定的图像处理执行对象区域E检测其中可以估计在路面的铺筑地面中存在变色等的异常区域。例如，异常区域检测单元15b计算图像处理执行对象区域E中的各个像素的强度或色调的平均值。此外，异常区域检测单元15b提取与各个像素的强度或色调的平均值的色差等于或大于预定阈值Aa的像素并且标记其中具有阈值Λ a或更大的色差的像素连续的区域。通过该标记，异常区域检测单元15b检测到其中可以估计检测到相对于浙青或水泥的颜色的变色的异常区域。重叠确定单元15c是使用车轮轨迹数据13c确定由异常区域检测单元15b检测到的异常区域是否与预期巡逻车3的车轮沿着其在路面上通行的轨迹重叠。作为一个实施例，重叠确定单元15c计算构成异常区域的像素数目，即异常区域的面积，并且随后确定异常区域的面积是否等于或大于预定阈值Ab。在该情况下，重叠确定单元15c可以通过针对构成异常区域的像素中的、在没影点附近的像素设定较大的权重来计算异常区域的面积。通过确定面积尺寸，重叠确定单元15c确定异常区域是否具有使得可以估计异常区域是路面上的隆起、凹槽或裂缝的尺寸，就是说，异常区域是否是小石块
坐寸ο当异常区域的面积小于预定阈值Ab时，可以估计异常区域不太可能是路面上的隆起、凹槽或裂缝。因此，重叠确定单元15c不执行后继图像处理。另一方面，当异常区域的面积等于或大于预定阈值Ab时，可以估计异常区域极可能是路面上的隆起、凹槽或裂缝。因此，重叠确定单元15c进一步确定构成异常区域的像素的亮度的平均值是否等于或小于预定阈值Ac。通过确定亮度的幅值，重叠确定单元15c可以确定异常区域是否黑得使得可以估计异常区域不同于诸如路面上印刷的白线的道路标志。这里，当构成异常区域的像素的亮度的平均值等于或小于预定阈值Ac时，重叠确定单元15c进一步确定异常区域是否与车轮轨迹数据13c定义的、预期巡逻车3的车轮沿着其通行的轨迹重叠。通过重叠确定，可以确定在道路图像的后继帧中，巡逻车3的车轮是否在异常区域上通行。在该情况下，当构成异常区域的像素中的至少一个像素与预期的车轮轨迹重叠时，重叠确定单元15c确定异常区域和预期轨迹重叠，使得基本上提取了其中怀疑路面劣化的所有样本。加速度确定单元15d是使用感测数据13b来确定在对应于道路图像的拍摄时间的测量时间处的加速度是否在预定范围R之外的处理单元。加速度在预定范围R之外的事实意味着车辆通过某个台阶。
作为一个实施例，当重叠确定单元15c确定异常区域与预期的车轮轨迹重叠时加速度确定单元15d执行如下处理。就是说，加速度确定单元15d根据从道路图像的帧的光流获得的的巡逻车3的车辆速度设定加速度监控对象区，其从当前读取的道路图像的拍摄时间开始并且包括预期巡逻车3的车轮通过异常区域的时间。例如，加速度确定单元15d将道路图像的拍摄时间设定为监控对象区的开始点并且设定到监控对象区的结束点的长度，使得巡逻车3的车辆速度越慢，长度就越大。可以在不使用光流的情况下从安装在巡逻车3上的车辆速度传感器(未示出)获取巡逻车3的车辆速度。此后，加速度确定单元15d确定对应于感测数据13b中的监控对象区的重力加速度的最大值和最小值中的任一个是否在预定范围R之外。在该情况下，加速度确定单元15d也可以动态改变范围R，使得巡逻车3的车辆速度越慢，范围R的上限值和下限值之间的差就越大。通过加速度确定，加速度确定单元15d可以确定异常区域是否是诸如隆起、凹槽或裂缝的不规则，也就是确定异常区域是否是由具有小的不规则的水池引起的变色。生成单元15e是生成将被道路检验人员浏览的浏览数据的处理单元。作为一个实施例，当在预期巡逻车3的车轮通过道路图像上的、其中在路面的铺筑地面中检测到变色的异常区域的定时在重力加速度中检测到诸如不规则的异常时，生成单元15e生成允许道路检验人员检查维修的必要性的劣化数据。就是说，生成单元15e生成作为浏览数据的劣化数据，其中在路面的铺筑地面中检测到诸如变色的异常的道路图像的拍摄时间周围的重力加速度的改变、纬度和经度的坐标值、包括道路图像是相关的。在该情况下，生成单元15e在标签“pointData”的标签“mark”中描述“用于检查维修的劣化数据”。此外，生成单元15e在标签“Gv”的标签“gdata”中描述从道路图像的拍摄时间起的预定时段(例如，3分钟)期间的重力加速度的改变。作为另一实施例，即使在道路图像上在路面的铺筑地面中检测到变色，当异常区域不与预期巡逻车3的车轮沿着其通行的轨迹重叠时，生成单元15e仍生成用于提示在巡逻车3的下一次巡逻时检验的劣化候选者数据。就是说，生成单元15e生成作为浏览数据的劣化候选者数据，其中在路面的铺筑地面中检测到诸如变色的异常的道路图像的拍摄时间周围的重力加速度的改变、纬度和经度的坐标值、包括道路图像是相关的。在该情况下，生成单元15e在标签“pointData”的标签“mark”中描述“用于下一次检验的劣化候选者数据”。当生成劣化候选者数据时，由于异常区域和预期的车轮轨迹不重叠，因此不必描述标签 “Gv” 的标签"time” 和 “gdata”。这里，将参照图7至9描述生成浏览数据的方法的具体示例。图7至9是图示道路图像的示例的示图。在图7的示例中，假设道路图像300的拍摄时间tl早于道路图像310的拍摄时间t2，并且道路图像310的拍摄时间t2早于道路图像320的拍摄时间t3。图7中所示的异常区域300a被拍摄作为图8中所示的道路图像310上的异常区域310a并且被拍摄作为图9中所示的道路图像320上的异常区域320a。此外，图7中所示的异常区域300b被拍摄作为图8中所示的道路图像310上的异常区域310b。在图7中所示的道路图像300的情况下，具有作为没影点Vp的高度Hl的一半的高度H2或更小的区域被异常区域检测单元15b指定为图像处理执行对象区域E。由于在图像处理执行对象区域E中仅包括异常区域300a至300c中的异常区域300c，因此异常区域检测单元15b仅检测到异常区域300c。异常区域300c不与预期巡逻车3的左轮和右轮沿着其通行的轨迹300L和300R重叠。如同上文，尽管可以检测异常区域300c，但是难于确定异常区域300c是因为诸如隆起、凹槽或裂缝的不规则导致的还是因为由具有小的不规则的水池引起的变色导致的。因此，由于异常区域300c值得在下一次巡逻时检验，因此从道路图像300生成用于下一次检验的劣化候选者数据。在图8中所示的道路图像310的情况下，具有作为没影点Vp的高度Hl的一半的高度H2或更小的区域也被异常区域检测单元15b指定为图像处理执行对象区域E。由于在图像处理执行对象区域E中仅包括异常区域310a和310b中的异常区域310b，因此异常区域检测单元15b仅检测到异常区域310b。异常区域310b与预期巡逻车3的左轮和右轮沿着其通行的轨迹3IOL和3IOR中的轨迹3IOR重叠。在该情况下，如果在对应于道路图像的拍摄时间的测量时间处的加速度在预定范围R之外，则可以确定异常区域310b是因为诸如隆起、凹槽或裂缝的不规则导致的。因此，由于异常区域310b值得检查维修的必要性，因此从道路图像310生成用于检查维修的劣化数据。在图9中所示的道路图像320的情况下，具有作为没影点Vp的高度Hl的一半的高度H2或更小的区域也被异常区域检测单元15b指定为图像处理执行对象区域E。由于在图像处理执行对象区域E中仅包括异常区域320a，因此异常区域检测单元15b仅检测到异常区域320a。异常区域320a与预期巡逻车3的左轮和右轮沿着其通行的轨迹320L和320R中的轨迹310L重叠。在该情况下，如果在对应于道路图像的拍摄时间的测量时间处的加速度在预定范围R内，则可以认为值得通过裸眼检查异常区域320a是否是因为诸如隆起、凹槽或裂缝的不规则导致的。因此，从道路图像320生成用于检查维修的劣化数据。提供单元15f是响应于来自订户终端50的浏览请求向订户终端50提供浏览数据13d的处理单元。作为一个实施例,在接收到来自订户终端50的浏览请求时,提供单元15f生成地图屏幕，其中感测数据13b中包括的位置数据的坐标位置被映射到预定范围(例如，管辖区域)的地图信息上。在该情况下，提供单元15f使感测数据13b中包括的位置数据的坐标位置中的、与浏览数据13d中包括的劣化数据和劣化候选者数据对应的坐标位置以不同于其他坐标位置的显示形式进行映射。此外，提供单元15f向订户终端50传送地图屏幕，其中与劣化数据和劣化候选者数据对应的坐标位置以不同的显示形式映射。图10是图示传送到订户终端50的屏幕的示例的示图。如图10中所示，其上映射感测数据13b中包括的位置数据的坐标位置的地图屏幕400显示在订户终端50上。在地图屏幕400上，对应于浏览数据13d中包括的劣化数据的坐标位置400a被显示为黑色标记。此外，在地图屏幕400上，对应于劣化候选者数据的坐标位置400b被显示为点标记。此后，当通过订户终端50在地图屏幕上选择对应于劣化数据或劣化候选者数据的纬度和经度的坐标值时，提供单元15f生成包括道路图像、在从道路图像的拍摄时间起经过预定时段之前的重力加速度的改变、以及地图屏幕的浏览屏幕，并且将浏览屏幕传送到订户终端50。图11是图示传送到订户终端50的屏幕的示例的示图。如图11中所示，包括道路图像510、在从道路图像510的拍摄时间起经过预定时段之前的重力加速度的改变520、以及地图屏幕540的浏览屏幕500显示在订户终端50上。当在浏览屏幕500上操作播放按钮530a时，再现例如其中检测到异常区域的道路图像的拍摄时间周围的三分钟(±90秒)的影片。当在影片的再现期间操作暂停按钮530b时可以暂停影片并且当操作停止按钮530c时可以停止影片的再现。通过显示浏览屏幕500，道路检验人员可以通过视觉形式、数字形式和几何形式理解极可能值得维修的路面以及极可能值得在下一次巡逻时检验的路面。在重力加速度的改变520中，显示当前正在显示的影片的再现时间周围的预定时间范围的图像。处理流程接下来，将描述根据该实施例的路面检验装置10的处理流程。图12是图示根据第一实施例的路面检验处理的流程的流程图。当新的视频数据13a登记在存储单元13中时，开始路面检验处理。如图12中所示，异常区域检测单元15b依次读取存储在存储单元13中的视频数据13a中包括的道路图像的帧(步骤S101)。此外，异常区域检测单元15b基于道路图像上的没影点指定图像处理执行对象区域E (步骤S102)。此后，异常区域检测单元15b从指定的图像处理执行对象区域E检测其中可以估计在路面的铺筑地面中存在变色等的异常区域(步骤S103)。当存在异常区域时(步骤S104中的“是”)，重叠确定单元15c计算构成异常区域的像素数目，即异常区域的面积，并且随后确定异常区域的面积是否等于或大于预定阈值Λ b(步骤 S105)。在该情况下，当不存在异常区域时(步骤S104中的“否”)，或者当异常区域的面积小于预定阈值Ab时(步骤S105中的“否”)，可以估计异常区域不太可能是路面上的隆起、凹槽或裂缝。因此，该流程通过跳过步骤S106至SllO的后继处理前往步骤S111。另一方面，当异常区域的面积等于或大于预定阈值Ab时(步骤S105中的“是”)，可以估计异常区域极可能是路面上的隆起、凹槽或裂缝。因此，重叠确定单元15c进一步确定构成异常区域的像素的亮度的平均值是否等于或小于预定阈值Ac (步骤S106)。当构成异常区域的像素的亮度的平均值等于或小于预定阈值Λ c时(步骤S106中的“是”)，重叠确定单元15c执行如下处理。就是说，重叠确定单元15c进一步确定异常区域是否与车轮轨迹数据13c定义的、预期巡逻车3的车轮沿着其通行的轨迹重叠(步骤S107)。当构成异常区域的像素的亮度的平均值超过预定阈值八。时(步骤5106中的“否”)，该流程通过跳过步骤S106至SllO的后继处理前往步骤Slll。随后，当异常区域与预期的车轮轨迹重叠时(步骤S107中的“是”)，加速度确定单元15d使用感测数据13b执行如下处理。就是说，加速度确定单元15d确定在对应于道路图像的拍摄时间的测量时间处的加速度是否在预定范围R之外(步骤S108)。这里，当在对应于道路图像的拍摄时间的测量时间处的加速度在预定范围R之外时(步骤S108中的“是”)，生成单元15e执行如下处理。就是说，生成单元15e生成允许道路检验人员检查维修的必要性的劣化数据并且将劣化数据登记在存储单元13中(步骤S109)。另一方面，当异常区域不与预期的车轮轨迹重叠时(步骤S107中的“否”)，或者当在对应于道路图像的拍摄时间的测量时间处的加速度不在预定范围R之外时(步骤S108中的“否”)，生成单元15e执行如下处理。就是说，生成单元15e生成用于提示在巡逻车3的下一次巡逻时检验的劣化候选者数据并且将劣化候选者数据登记在存储单元13中(步骤S109)。
此后，路面检验装置10重复执行步骤SlOl至SllO的处理直至对于所有�。访婕煅榻崾�(步骤Slll中的“否”)。此外，当对于所有�。访婕煅榻崾�(步骤Slll中的“是”)，该处理结束。第一实施例的优点如上文所述，在根据第一实施例的路面检验装置10中，如果至少获得由相机31拍摄的道路图像和由G传感器32测量的重力加速度，则可以检测路面劣化。因此，在根据该实施例的路面检验装置10中，不必在诸如路面状态测量车辆的车辆中设置许多基于雷达的位移计或者许多相机，并且不必在车辆中设置用于通过基于雷达的位移计或者相机执行自适应测量的测量控制装置。因此，在根据该实施例的路面检验装置10中，由于可以降低巡逻车3的装备成本并且简化巡逻车3的配置，因此可以频繁地检验路面。因此，基于根据该实施例的路面检验装置10，可以在早期阶段检测路面劣化。此夕卜，在根据该实施例的路面检验装置10中，由于可以在早期阶段检测路面劣化，因此可以降低维修路面的成本。[b]第二实施例尽管已描述了所公开的装置的实施例，但是本发明可以被实施为除了上述实施例以外的各种其他形式。因此，在下面的描述中，将描述本发明中包括的其他实施例。相机附接位置例如，尽管第一实施例说明了其中相机31附接到巡逻车3的前面的情况，但是相机31可以附接到巡逻车3的后面的预定位置(例如，后车号牌周围)。图13是图示车轮轨迹数据13c的修改示例的示图。在图13的示例中,考虑了其中相机31附接到巡逻车3的后面的情况。图13中所示的附图标记600表示道路图像。此夕卜，图13中所示的附图标记600L和600R表示道路图像600上的、巡逻车3的车轮沿着其在路面上通行的轨迹。通过使用附接到巡逻车3的相机31的附接角度校准道路图像上的、左轮和右轮通行的区域的尺寸和位置，来设定车轮轨迹数据13c。如图13中所示，道路图像600上的、巡逻车3的左轮沿着其在路面上通行的轨迹600L以及道路图像600上的、巡逻车3的右轮沿着其在路面上通行的轨迹600R的两个区域被定义为车轮轨迹数据13c。如同上文，当相机31附接到巡逻车3的后面时，所公开的装置可以通过确定异常区域是否与轨迹600L和600R重叠，以相似的方式执行路面检验。分布和集成此外，所说明的各个装置的各个构成部件不一定具有如附图中所示的物理配置。就是说，各个装置的具体的分布和集成形式不限于所说明的形式，并且所有或部分构成部件可以根据各种类型的负荷、使用状态等按可选的单元进行功能地或物理地分布和集成。例如，登记单元15a、异常区域检测单元15b、重叠确定单元15c、加速度确定单元15d、生成单元15e或提供单元15f可以作为路面检验装置10的之外装置经由网络连接。此外，登记单元15a、异常区域检测单元15b、重叠确定单元15c、加速度确定单元15d、生成单元15e或提供单元15f可以包括在不同的装置中，并且各个单元可以经由网络连接以便合作实现路面检验装置10的功能。路面检验程序实施例中描述的处理可以由执行预先提供的程序的、诸如个人计算机或工作站的计算机实现。在下面的描述中，将参照图14描述执行具有与以上实施例相同的功能的路面检验程序的计算机的示例。图14是用于说明执行根据第一和第二实施例的路面检验程序的计算机的示例的示图。如图14中所示，计算机100包括操作单元110a、扬声器110b、相机110c、显示器120和通信单元130。计算机100进一步包括CPU 150、ROM 160、硬盘驱动器(HDD) 170和RAM180。各个单元110至180经由总线140连接。如图14中所示，执行与第一实施例中描述的登记单元15a、异常区域检测单元15b、重叠确定单元15c、加速度确定单元15d、生成单元15e和提供单元15f相同的功能的路面检验程序170a被预先存储在HDD 170中。路面检验程序170a可以按与图3中图示的登记单元15a、异常区域检测单元15b、重叠确定单元15c、加速度确定单元15d、生成单元15e和提供单元15f的各个构成部件相似的方式适当地集成或分离。就是说，HDD 170中存储的数据的所有各个项不必都存储在HDD 170中，而是仅用于处理的数据项可以存储在HDD 170 中。CPU 150从HDD 170读取路面检验程序170a并且将路面检验程序170a部署到RAM180中。这样，如图14中所示，路面检验程序170a用作路面检验处理180a。路面检验处理180a将从HDD 170读取的各种类型的数据适当地部署到RAM 180上的、分配给路面检验处理180a的区域中，并且基于所部署的各种类型的数据执行各种处理。路面检验处理180a包括由图3中图示的登记单元15a、异常区域检测单元15b、重叠确定单元15c、加速度确定单元15d、生成单元15e和提供单元15f执行的处理(例如，图12中图示的处理)。此外，在CPU 150上虚拟实现的所有各个处理单元不必都在CPU 150上操作，而是仅用于处理的处理单元可以被虚拟实现。路面检验程序170a不必预先存储在HDD 170或ROM 160上。例如，各个程序可以存储在插入到计算机100中的、诸如柔性盘(所谓的FD)、CD-ROM、DVD盘、磁光盘或IC卡的“便携式物理介质”中。此外，计算机100可以从便携式物理介质获取各个程序并且执行各个程序。此外，各个程序可以存储在经由公共线路、互联网、LAN、WAN等连接到计算机100的其他计算机或服务器装置中，并且计算机100可以从这些计算机或服务器装置获取各个程序并且执行各个程序。
权利要求
1.一种路面检验装置，包括: 图像存储单元，其相关地存储其中由安装在车辆上的成像单元拍摄道路路面的图像和所述图像的拍摄时间； 轨迹存储单元，其存储由所述成像单元拍摄的图像上的、预期所述车辆的车轮沿着其在路面上通行的轨迹，或者所述车辆的车轮沿着其在路面上通行的轨迹； 加速度存储单元，其相关地存储在路面上驾驶期间由安装在所述车辆上的加速度传感器测量的加速度和所述加速度的测量时间； 异常区域检测单元，其从所述图像存储单元中存储的图像上的路面检测路面上的异常区域； 重叠确定单元，其确定所述异常区域检测单元检测到的异常区域是否与所述轨迹存储单元中存储的车轮轨迹重叠；以及 加速度确定单元，当所述重叠确定单元确定异常区域与车轮轨迹重叠时，所述加速度确定单元确定在所述加速度存储单元中存储的加速度中的、在对应于图像的拍摄时间的测量时间处的加速度是否在预定范围之外。
2.根据权利要求1所述的路面检验装置，进一步包括第一登记单元，当确定所述加速度在所述预定范围之外时，所述第一登记单元将其中至少异常区域与车轮轨迹重叠的图像登记在劣化信息存储部中，所述劣化信息存储部存储关于路面劣化的信息。
3.根据权利要求1所述的路面检验装置，其中所述第一登记单元将在对应于图像的拍摄时间的测量时间处的加速度与其中异常区域与车轮轨迹重叠的图像相关地登记在所述劣化信息存储部中。
4.根据权利要求2或3所述的路面检验装置，其中所述第一登记单元将位置存储部中存储的位置中的、在对应于图像的拍摄时间的获取时间的所述车辆的位置与其中异常区域与车轮轨迹重叠的图像相关地登记在所述劣化信息存储部中，所述位置存储部相关地存储由安装在所述车辆上的位置获取单元获取的位置和所述位置的获取时间。
5.根据权利要求1或2所述的路面检验装置，进一步包括第二登记单元，当确定异常区域不与车轮轨迹重叠时，所述第二登记单元将其中至少检测到异常区域的图像登记在劣化候选者信息存储部中，所述劣化候选者信息存储部存储关于路面劣化的候选者的信息。
全文摘要
本发明涉及一种路面检验装置，其从相机拍摄的道路图像上的路面检测路面上的异常区域。该路面检验装置确定检测到的异常区域是否与道路图像上的、预期巡逻车的车轮沿着其在路面上通行的轨迹重叠。当异常区域与车轮轨迹重叠时，路面检验装置确定在路面上的驾驶期间G传感器测量的加速度中的、在对应于道路图像的拍摄时间的测量时间处的加速度是否在预定范围之外。
文档编号G01N21/88GK103185723SQ20121049985
公开日2013年7月3日 申请日期2012年11月29日 优先权日2011年12月28日
发明者下村照雄, 十时伸, 葛西一良 申请人:富士通株式会社
专业数控铣床产品供应商
20年生产经验，实力工厂，精工品质，质量有保障
