专利名称：基于计算机视觉的盲人导航方法及系统的制作方法
技术领域：
本发明属于计算机视觉领域，具体涉及基于计算机视觉的盲人导航方法及 装置，可以帮助盲人在室内、以及室外等经常去的地方无障碍地行走。
背景技术：
盲人作为社会上的一个特殊群体，需要社会给予他们更多的关怀和照顾， 使他们能够更好地独立生活。如何安全行走，是盲人生活中最大的问题。盲人 在生活中渴望独立，但总有力不能及的方面。事实上，许多机构都研制过一些 帮助盲人行走的工具，如带扬声器的导航棍，优点是晚上可发出光，提醒路 人与司机，缺点是易坏、太敏感；还有探知前方障碍物的盲人眼镜，其优点是 体积较�。钡闶遣饬糠段�。总之，都不能很好地满足实际使用的需要。
通过对过去各种导盲人辅助产品优缺点的总结，根据盲人切身的要求和需 要，本发明提供了一套基于视觉处理的、较为完善的盲人导航系统。
发明内容
本发明的目的在于提供一种基于计算机视觉的盲人导航方法及系统，其导 航系统功能较完善，灵活性强且实用方便，可扩展性强。 为了达到上述目的，本发明的解决方案是 一种基于计算机视觉的盲人导航方法，步骤包括；
(a) 采集盲人行走环境的视频图像；例如先人为地带着摄像头沿预先设定的 路线走一回，存于数据库中；
(b) 采用计算机视觉算法对采集到的视频图像进行处理；
(0例如采用KLT算法进行特征跟踪，以角点特征作为输入；
(ii)当盲人重新走训练过的路线，提取每幅图像的特征点，经与数据库中保
存图像的特征点进行比对，每一个特征点都可以做一次转向的判决，统计所有
特征点的判断，最后决定盲人下一步需要前行的方向，给出导航信息。
还包括(c)超声波探测障碍物，选用"超声波测距仪"。超声波传感器价
格相对便宜，性价比高。
(d)步骤(ii)中所述"给出导航信息"包括由视频处理算法输出的转向
结果由触觉(例如振动器)和声觉(例如蜂鸣器)传递给盲人，形成立体反馈信息。
所述的步骤(b)盲人导航的视频图像处理中，关键帧的切换采用最小方差 的方法，实现较好的鲁棒性。
所述的步骤(C)超声波探测障碍物多超声波阵列融合单片机PC通信技 术，超声波探测障碍物在几米或者十几米范围之内进行距离测量。
所述的步骤(d)结合频率扬声器或/和振动传感器和嵌入式显示的立体反馈 机制，进行路径规划，帮助盲人迅速安全的到达目标地点。
标定为二维标定。是将图像坐标转换为实际坐标，为视频处理提供辅助信 息；将盲人导航算法与微软实验室摄像机标定�？椋竦蒙阆窕诓谓腥诤希� 从而使判决精度提升。
实现上述方法的系统，包括
(a) 笔记本电脑一台
(b) 普通的Web USB摄像头一个
(c) 超声波传感器三个，12C总线数据传输
(d) PC通信�？�(单片机)，用于数据采集和反馈
(e) 振动器两个，频率扬声器一个 本系统以笔记本为主要数据处理中心，主要感知设备摄像头通过USB接
口与笔记本相连，提供视频感知信息，辅助感知设备三个超声波通过单片机 与笔记本通信，提供距离感知信息，然后经过笔记本处理后，由视频处理算法 输出的转向结果由触觉(振动器)和声觉(频率扬声器)传递给盲人，形成立 体反馈信息，实现盲人导航。
经过多次实验测试，本系统可以辅助盲人在室内按照指定路线进行直行，拐弯， 避开障碍物等操作。
盲人导航系统的先进性体现在采用了视觉导航技术，用单目摄像头实现了 导航功能，国外同类产品都使用了多目摄像头。实用性体现在价格便宜，特别 适合盲人室内行走，用于盲人室内行走，如盲人参加会展等场合使用。本发明 系统具有很好的扩展性，可以根据用户的需求，价格承受能力选用不同的仪器， 满足用户的需求。本系统融合了超声波和计算机视觉处理算法，可以为盲人提供三 维多角度的周围场景信息，以快速到达目的地。系统的实现，采用了图像数据库保存 的方式，增强了实时性的要求。把用于目标跟踪的特征点检测算法用于导航的创新也 收到了满意的效果。匹配算法简单，易理解，而统计概念的引入也增强了系统判决的 鲁棒性和稳定性。而且仅使用了单目摄像头和价格相对比较便宜的超声波传感器，搭 建的硬件系统性价比较高，具有推广价值。本发明基于视觉处理的盲人导航系统， 可以帮助盲人在室内、以及室外等经常去的地方无障碍地行走。而且，更重要 的是，与现有的其他盲人导航设备相比，本发明系统性价比较高，适合在普通 的家庭推广，给盲人带来方便。试想，如果通过本发明可以有更多的盲人投入 到社会工作中来，这必将给社会带来巨大的经济效益。盲人作为社会上的一个 特殊群体，需要给予更多的关怀和照顾，使他们能够更好地独立生活。而我们 认为，如何使他们可以安全行走，是盲人生活中最渴望的第一步，也是他们获 得独立的前提和基础。
本发明基于计算机视觉的盲人导航系统的创新性体现在以下几个方面 数字图像获取和分析技术单摄像头图像获取，多超声波动态障碍物感知 的多传感器场景信息获取技术。
路径规划借助现场地理分布的先验知识，确定安全的行走路线。适合各
种复杂场景(凹凸不平的地面)，动态障碍物(行人，车辆)。
结合频率扬声器、振动传感器和嵌入式显示的立体反馈机制，进行路径规划， 迅速安全的到达目标地点。 主要的算法创新
获取摄像机内参的单目视觉感知�？� 训练学习机制，适合多场景，动态障碍物 多超声波阵列融合单片机PC通信技术 结合频率扬声器和触觉传感器的立体反馈机制。 获取摄像机内参的单目视觉感知�？槭褂昧松阆窕甓ㄋ惴ú⒔岷媳鞠� 统所发明的盲人导航算法，获得摄像机内参进行融合，从而使判决精度提升。
训练学习机制，适合多场景，动态障碍物算法具有很好的鲁棒性，即使 在特殊场合下仍有很好的稳定性。
即使在特殊场合下仍有很好的稳定性实际行进中出现动态物体(小于1/4 图像面积)以及不平整路面时，算法仍能跟踪特征点。
由于采用了以上技术方案，本发明具有一下有益效果本发明在恶劣、复 杂的场景下，通过场景分布的先验地理知识，结合多传感器现场获取的场景信 息，可以为盲人提供安全的行走路径。
图1为本发明的算法转向算法示意图。
图2为本发明中盲人左转的KLT算法特征点的分布示意图
图3为本发明中盲人右转的KLT算法特征点的分布示意周
图4为KLT跟踪算法实验结果图一。
图5为KLT跟踪算法实验结果图二。
图6本发明的系统原理图。
图7为本发明的系统硬件框架图。
具体实施例方式
下面结合附图对本发明的实施例作详细说明。
本实施例采用附图所示的基于计算机视觉的盲人导航方法和系统，具体实 施步骤如下
1、硬件设备的建立
基于计算机视觉的盲人导航系统可以采用以摄像头为核心的硬件结构，主 要包括(见图7):笔记本电脑一台，普通的WebUSB摄像头一个，超声波传感 器三个，I2C总线数据传输，PC通信模块(单片机)，用于数据采集和反�。� 振动器两个，频率扬声器一个，形成触觉和声觉的立体反馈信息。本系统以笔 记本为主要数据处理中心，主要感知设备；摄像头通过USB接口与笔记本相连， 提供视频感知信息，辅助感知设备；三个超声波通过单片机与笔记本通信，提 供距离感知信息，然后经过笔记本处理后，由视频处理算法输出的转向结果由
触觉(振动器)和声觉(频率扬声器)传递给盲人，形成立体反馈信息，实现 盲人导航。振动传感器及频率扬声器与笔记本之间是通过串口传送信号的。本
系统的笔记本也可以用集成电路FPGA (Field Programmable Gate Array，现场可 编程门阵列)代替，FPGA为具有相同功用的简单的设备。 整个系统在盲人行走时需要携带在身上。
2、 系统实现
本系统主要包括两大�？槌？橛糜谔讲庹习铮悠蹈兄？椴� 分用于盲人导航。
3、 超声波探测障碍物
超声波探测障碍物应用在盲人行走时，其主要是探测障碍物的距离，超声 波探测障碍物是用来防止盲人撞上障碍物的，与本发明的其它特征之间实现的 功能不一样。超声波探测障碍物只需要在几米或者十几米范围之内进行距离测 量，检测盲人前方障碍物的距离，且精度要求不高的情况下，我们选用"超声 波测距仪"。超声波测距仪测量的效果受环境影响(风速和温度)，超声波测距 的性能与被测物表面材料有很大关系，如毛料、布料对超声波的反射率很�。� 会影响测量结果，但超声波传感器价格相对便宜，适合在室内测量。超声波通 过串口和笔记本相连接。
4、 视频感知部分的算法
视频感知部分的算法主要分成两部分来运作 训练(Training phase):
先人为地带着摄像头沿预先设定的路线走一回，以等时间间隔20-30ms提 取出部分图像帧的特征点，存于数据库中，作为关键帧(milestone),用来在实 际导航中的场景切换。
但考虑到算法的实现性，综合考虑算法的精度和实时性，选取的时间间隔 为25ms为优。
实际导航(Replay phase):
当盲人重新走训练过的路线，提取每幅图像的特征点，使用 KLT(kanade-lucas-tomasi)跟踪算法(图3、图4)保证参考图像上的匹配特征点 的精确位置。角点跟踪算法有很多，经过实践检验发现KLT算法是实时性和 鲁棒性都较好的一个算法。用KLT来跟踪相同的场景，精度非常高，跟踪的效 率也非常高。
KLT角点检测算法是是对基于一个计算窗口模板OxD下的图像计算局部结 构矩阵，计算其特征值A和A，根据给定阈值A按照式子min"，^^A来判定其 是否为角点。这里的关键是阈值义和窗口 D的大小的确定，D的大小一般为 2~10，太大的窗口会引起角点移动，窗口太小则会丢失相距较近的角点。
应用于盲人导航系统中的KLT算法创新之处在于在实验室己实现的摄像 机标定算法(1基于透视矩阵的摄像机标定2微软实验室的标定算法)的基础 上，可以获取任何摄像机的内部参数基础上，将现有单目BVN算法，不进行摄 像机标定，主点近似为图像中心，与微软实验室摄像机标定�？椋竦蒙阆窕�
内参进行融合，从而使判决精度提升。
盲人导航系统中KLT算法包括的步骤如下
(1) 先人为地带着摄像头沿预先设定的路线走一回，等时间间隔地提取出
部分图像�。肒LT算法提取出每幅图像的特征点，存于数据库中，作为关键 帧(milestone),用来在实际导航中的场景切换。
(2) 重新走训练过的路线，提取每幅图像的特征点。经与数据库中的特征 点进行比对，每一个特征点都可以做一个判决(图3-图5)
判决的结果根据训练中特征点与实际行进中特征点相对位置的不同，有三 种可能出现的情况(如图3-图5所示)。
首先对每一个特征点都可以做一个判决，比较C平面和D平面(C平面指 在当前位置的摄像头的成像平面，D平面指终点位置的摄像头的成像平面。)上 对应像素点的距离(Uc， Ud，见图2)大小和方向。判别规则如下
如果UOO， Ud<0，右转；
如果UcO， Ud>0,左转；
如果UOO， Uc>Ud，右转；
如果Uc〈0， Uc<Ud,左转；
其他情况，不转向，继续前行。
然后统计所有的特征点，分别计算判定为1)继续前行 2)左转 3)右 转的特征点的数目，选取特征点书数目最多的点的转向为最终的判别方向，最 后确定盲人下一步的动作。
场景切换采取最小方差的方法，在单调最低点切换场景。 经过多次实验测试，木系统可以辅助盲人在室内按照指定路线进行直行， 拐弯，避开障碍物等操作。 5、标定算法
标定为二维标定。因为只有一个摄像头，并且人脸部可以近似认为在一个 平面上，所以采用二维标定。标定主要是将图像坐标转换为实际坐标，为视频 处理提供辅助信息。结合标定的盲人导航算法可以提高转向时的判决精度。
6、触觉和声觉得立体反馈信息
由视频处理算法输出的转向结果由触觉(振动器)和声觉(蜂鸣器)传递给盲 人，形成立体反馈信息。
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用 本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改， 并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此， 本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，对于本发明 做出的改进和修改都应该在本发明的保护范围之内。
权利要求
1.一种基于计算机视觉的盲人导航方法，其特征在于其包括以下步骤1)预先行走，采集盲人行走环境的视频图像；2)对采集到的视频图像进行处理，提取特征点，存于数据库中；3)盲人行走时同时获取图像，提取特征点，同时通过超声波探测障碍物距离；4)将步骤3)中的特征点与步骤2)中保存于数据库内的特征点进行比对，判断盲人下一步的前行方向；5)将步骤4)的结果通过触觉或者声觉传递给盲人，形成立体反馈信息。
2、 如权利要求1所述的基于计算机视觉的盲人导航方法，其特征在于步 骤2)所述的存于数据库中的特征点为关键�。湓谑导实己街械那谢徊捎米钚� 方差的方法，在单调最低点切换场景。
3、 如权利要求1所述的基于计算机视觉的盲人导航方法，其特征在于采 用KLT算法进行特征跟踪，每隔20-30ms提取一个特征点。
4、 如权利要求1所述的基于计算机视觉的盲人导航方法，其特征在于对 每一个特征点作一个判决，C平面上对应像素点距离为Uc， D平面上对应像素 点距离为Ud，判别规则为如果UOO， Ud<0，右转； 如果UcO， Ud>0,左转； 如果UOO， Uc〉Ud，右转； 如果UcO， Uc<Ud，左转； 其他情况，不转向，继续前行， 然后统计所有的特征点，分别计算判定为1)继续前行2)左转 3)右 转的特征点的数目，选取特征点书数目最多的点的转向为最终的判别方向。
5、 如权利要求1所述的基于计算机视觉的盲人导航方法，其特征在于步 骤5)所述的触觉采用振动传感器实现；声觉采用频率扬声器实现。
6、 如权利要求3所述的基于计算机视觉的盲人导航方法，其特征在于KLT 算法将现有单目BVN算法，不进行摄像机标定，主点近似为图像中心，与微软 实验室摄像机标定�？椋竦蒙阆窕诓谓腥诤�。
7、 一种基于计算机视觉的盲人导航系统，其特征在于其包括感知及数据 处理设备、辅助视频感知设备、辅助距离感知设备、PC通信模块、传送指令模 块，辅助距离感知设备通过PC通信�？榻嘤Φ氖悠低枷裥畔⒋透荽� 设备，辅助视频感知设备直接将相应的距离信息传送给数据处理设备，数据处理设备将处理后的结果通过传送指令模块传送给盲人进行导航。
8、 如权利要求7所述的基于计算机视觉的盲人导航系统，其特征在于该 感知及数据处理设备为笔记本电脑，该辅助视频感知设备为摄像头，该辅助距 离感知设备为超声波传感器，该PC通信模块为单片机，该传送指令�？槲穸衅骰蛘咂德恃锷鳎ü谟敫兄笆荽砩璞赶嗔阆裢吠ü齍SB 与笔记本相连，单片机通过串口与笔记本相连，超声波传感器之间通过I2C总线连接，并通过单片机与笔记本通信。
9、 如权利要求8所述的基于计算机视觉的盲人导航系统，其特征在于该 超声波传感器为三个；该振动传感器为两个。
10、 如权利要求8所述的基于计算机视觉的盲人导航系统，其特征在于 该笔记本电脑采用集成电路FPGA代替。
全文摘要
一种基于计算机视觉的盲人导航方法，其系统主要包括两大�？槌ㄌ讲庹习铮悠蹈兄糠钟糜诿と说己�。其中图像采集设备通过普通视频摄像头采集图像，处理器采用计算机视觉算法对采集到的视频图像进行处理，采用klt算法进行特征跟踪，以角点特征作为输入。先人为地带着摄像头沿预先设定的路线走一回，等时间间隔地提取出部分图像帧的特征点，存于数据库中。当盲人重新走训练过的路线，提取每幅图像的特征点，经与数据库中保存图像的特征点进行比对，最后决定盲人下一步需要前行的方向，由视频处理算法输出的转向结果由触觉和声觉传递给盲人，形成立体反馈信息，实现盲人导航。
文档编号G01C21/26GK101368828SQ20081020123
公开日2009年2月18日 申请日期2008年10月15日 优先权日2008年10月15日
发明者刘富强, 宋春林, 崔建竹, 张夏宜, 李志鹏, 王新红, 楠 董, 俊 韩 申请人:同济大学
专业数控铣床产品供应商
20年生产经验，实力工厂，精工品质，质量有保障
