专利名称：基于视觉的组合导航机器人及导航方法
技术领域：
本发明涉及机器人自主导航的移动技术。
背景技术：
移动机器人自主导航有多种导航方式，主要有里程计、视觉导航、陀螺仪或者捷联惯导、超声波传感器导航、激光测距雷达导航等，虽然每种传感器都有导航的功能，但是单一传感器的导航总存在一些不足，如里程计和陀螺仪导航方式存在累积误差问题，视觉导航存在光线干扰导致可靠性降低等问题。激光测距雷达和超声波传感器虽然也能够导航，但是需要较多的参照物。针对以上问题，本发明采用了以视觉导航为主，同时融合光电编码器、超声波、陀螺仪等传感器的组合导航方式。采用I只彩色数码摄像机、4个光电编码器、16个超声波、·I只陀螺仪作为传感器，通过彩色数码摄像机拍摄的图像、光电编码器输出的脉冲增量、超声波测距数据和陀螺仪输出的数据，处理后以组合导航的方式指引机器人在已知环境下运动，达到各导航方式优势互补，提高机器人环境适应能力的目的。
发明内容
本发明所要解决的技术问题是提供一种自主导航的移动机器人及其导航方法，该机器人具备人工�？睾妥灾鞯己焦δ埽迪衷谝阎肪持凶灾髟硕筛菪枰迪旨嗍�、运输、报警等功能。为解决上述技术问题，本发明提供一种自主导航的移动机器人，包括四轮驱动小车，所述小车车体上安装彩色数码摄像机；车体的前端和后端各安装若干个超声波传感器，用于检测机器人周围障碍物距离信息；车体内部安装陀螺仪，用来检测机器人姿态信息；四个光电编码器分别安装在四套伺服驱动电机上，作为里程计使用；电机控制器；机器人车体控制系统计算机，用于保证图像处理和控制的实时性。进一步的，本发明的自主导航的移动机器人还包括机器人通讯系统，用于以无线通信方式与远程操作台通讯。能够在远程操作台的遥控下，按照�？刂噶钚凶�。本发明同时提出了该基于视觉的组合导航机器人的导航方法，其特征在于，包括以下步骤在所述机器人车体控制系统计算机内设置路径参数，所述路径参数包括机器人距离车道线距离、距离道路边缘的距离，机器人距离转弯标识的距离；机器人通过摄像机采集图像信息，寻找车道线，如果识别到车道线，则沿车道线行走；如果找不到车道线，则寻找道路边缘的植被分界线，如果识别到道路边缘的植被分界线，则沿着该道路边缘行走；如果识别到转弯标识，则进行转弯。所述机器人直线行驶时，通过摄像机检测出的车道线实时计算当前小车和车道线之间的第一横向位移和第一行驶角度偏差；实时用光电编码器和陀螺仪的计算当前小车和车道线之间的第二横向位移和第二行驶角度偏差；所述横向位移即为机器人中心与车道线或道路边缘的垂直距离，行驶角度偏差即为机器人当前行驶方向和欲行驶的规划路线之间的夹角；将每次获取的根据视觉计算出的小车和车道线之间的横向位移以及行驶角度偏差数据与用光电编码器和陀螺仪的计算当前小车和车道线之间的横向位移以及行驶角度偏差数据相比较；如果第一横向位移与第二横向位移的偏差大于第一位移偏差设定值，或者第一横向位移与第二横向位移的偏差大于第二位移偏差设定值并且第一行驶角度偏差与第二行驶角度偏差大于角度偏差设定值，则小车的直线行走采用光电编码器和陀螺仪计算的数据纠偏，否则采用根据视觉计算出的数据导航。所述机器人通过视觉检测人工设置标识得到机器人转弯信号，为防止机器人在未检测到标识的情况时会出现失控现象，所以同时将光电编码器获取的距离数据进行融合，在光电编码器数据超出设置数据时则认为机器人未检测到标识，机器人则按照光电编码器设置数据转弯，机器人转弯采用差动转向方法，差动转向过程中机器人会因为车轮滑动导·致转角存在一定偏差，为减少偏差，使用陀螺仪检测转角，对转角进行补偿，最大程度减少误差。在机器人直行或转弯时，所述超声波传感器实时采集障碍物信息，遇到障碍物则停车报警，保证机器人以及周围环境中的物品安全。本发明的机器人采用�？睾妥灾鞯己搅街挚刂品椒ǎ纯梢岳帽始潜镜缒宰魑僮魈ㄔ冻桃？鼗魅耍部梢栽谏柚煤孟喙夭问笃舳魅俗灾鞯己焦δ埽魅私卦ど杪肪蹲灾饕贫�。导航策略上机器人采用以视觉导航为主的方式，通过摄像机采集图像信息，寻找机器人行走所需的车道线，可形成车道线的环境有绿色植被与马路边缘的分界线、马路中间或者马路边缘车道线、人工设置车道线(如色带、油漆等)、人工设置转弯标识、斑马线等，在识别策略上针对不同的环境条件选取不同的算法，在有车道线的区域采取识别马路车道线的方式(马路中间黄线或白线)、在无车道线的区域采取识别马路边缘与路边植被分界线的方式，在无任何特殊特征的室内环境则采用人工方式设置车道线的方式，如人工铺设色带或者地面刷油漆等。机器人各转弯处则采用设置人工标识的方法，在机器人行走时观测到相关标识后估算标识在图像中的尺寸大�。龆ㄗ涞奈恢�。通过以上几种路况的区分，机器人在视觉导航时提前根据实际行走路线的环境情况进行各个路段设置与选择，机器人即可适应各种不同的环境。虽然机器人视觉导航能够实现基本的行走，但视觉导航过程中图像容易受到外界环境的干扰，影响行走的可靠性，所以导航系统在以视觉导航为主的同时，融合了里程计、陀螺仪和超声波传感器的相关信息，实现组合导航，以最大程度上提高系统的可靠性与导航精度。
下面结合附图和具体实施方式
对本发明的技术方案作进一步具体说明。图I为本发明机器人结构组成示意图。图中彩色数码摄像机I、超声波传感器2、车轮3、电机减速器组合4、光电编码器
5、陀螺仪6、无线网卡7、笔记本(作为操作台)8。图2为本发明机器人自主导航控制界面图。
图3为本发明机器人自主导航控制流程图。图4为人工设置转弯标识图。图5为斑马线转弯标识图。图6为小车角度定义图。图7为小车角度偏差计算说明图。图8为正确路线上一点的坐标求解图。
图9为纠偏流程图。
具体实施例方式如图I所示，本发明所涉及的机器人是一种可适应多种环境的自主导航机器人，它采用四轮驱动的小车结构，主要包括车体、彩色数码摄像机I、超声波传感器2、车轮3、电机减速器组合4、光电编码器5、陀螺仪6、无线网卡7、笔记本电脑(作为操作台)8以及运动控制器、工控机、图像采集卡、数据采集处理板、锂电池等。机器人为四轮驱动小车，每个车轮3配备一套电机减速器组合4，四套电机同时输出力矩，保证机器人具备足够的动力，增强运动性能，机器人转弯采用差动转弯方式。彩色数码摄像机I安装在机器人车体上方前端，通过彩色数码摄像机采集视频图像信息，并将图像信息通过数据采集卡传输给工控机，进行相应的图像处理工作。8个超声波传感器2分别安装在车体前端和后端，并呈扇形分布，以检测周围360°方向的障碍物信息，该信息传输给数据采集板进行处理，处理后信息传递给工控机处理，处理后的距离信息一方面可以用来避障，同时也可以作为绕过障碍物的局部导航所需数据信息。4个光电编码器5分别安装在4套电机减速器组合4的端部，作为里程计使用，其数据信息传输给数据采集板进行处理，处理后信息传递给工控机进行处理，用做组合导航。陀螺仪6安装于机器人车体内部，用来检测机器人姿态信息，陀螺仪检测数据传输给数据采集板，数据采集板将信息处理后传递给工控机用作导航使用，其主要功能是用来计算、校正机器人实际坐标，补偿由于车轮滑动而造成的误差等，同时用来比对视觉导航系统的纠偏和转弯算法，如二者差别较大，则优先使用陀螺仪数据，而将视觉检测结果识别为误检。电机控制器采用高性能8轴控制器，预留4轴接口以备日后机器人性能扩展等；机器人车体控制系统计算机采用高性能工控机，以保证图像处理和控制的实时性；机器人通讯系统采用基于无线网卡的局域网系统与笔记本操作台通讯。控制上机器人使用�？睾妥灾鞯己搅街挚刂品椒ǎ纯梢酝ü始潜镜缒�(作为操作台)远程�？鼗魅耍部梢栽谏柚煤孟喙夭问笃舳魅俗灾鞯己焦δ埽魅私卦ど杪肪蹲灾饕贫�。机器人控制界面如图2所示，主要包括通讯、超声波传感器信息显示、地图显示、速度表显示、视频信息显示、手动控制按键、自主行驶按键、机器人行驶状态显示等。无论机器人手动操作还是自主运行都要先连通网络，选中操作界面的通讯按键，点击连接；超声波传感器信息主要是指示操作者机器人周围障碍物信息；地图显示是显示小车在自动行驶中所处的路段和大致距离；速度表显示小车的当前速度，单位为m/s ;视频信息显示的显示内容是小车前方的环境视频信息，操作者可以更直观地观察环境信息；手动控制主要包括前进、后退、左转、右转、停止、急停等手动操作机器人的动作；自主行驶包括机器人行驶道路设置、起点设置、转弯标识设置等，根据不同的环境，分别进行设置。如行驶道路可分为有车道线马路、路边有草地的马路、人工设置车道线马路等；起点设置是设置机器人自主行驶时机器人在地图中的初始位置(该位置不一定是地图原点)；转弯标识设置包括人工标识、斑马线等，通过设置各参数形成机器人的自主行驶路径。 机器人自主导航采用以视觉导航为主的组合导航方法，机器人自主行驶控制流程图如图3所示。该导航方法以视觉导航为主，自主运行后，首先进行视觉图像采集工作，通过视觉图像采集的信息进行情况判断，如果视觉中无转弯标识则机器人进行道路检测，通过图像识别搜索车道线，控制机器人沿检测到的车道线行驶，在检测到小车偏离车道线方向时自动纠偏，在纠偏时同时融合陀螺仪信息以确定视觉系统检测到的车道线的有效性，始终保持小车沿检测到的车道线直线行驶。如果视觉中检测到人工设置的转弯标识，则通过视觉系统对转弯标识进行判断，通过调整标识的位置和标识在图像中的大小来决定小车转弯的位置，通过预设的转弯规则进行转弯，转弯的角度通过差动控制系统实现，同时融合陀螺仪信息确认小车转弯的角度；在有斑马线的区域，可通过识别距离斑马线的距离来确定转弯位置。通过直线道路检测、转弯判断、自主行驶控制三个环节的循环与设置，机器人可实现不同环境路面的自主行驶，以下对这三个环节的实现过程和方法分别进行阐述。·机器人直线行驶路径的环境一般包括室外路面有黄色或白色车道线的马路、室外边缘分界线清晰的马路(路面与路边绿色植被)、室外路面与马路边缘颜色不清晰的马路、室内路面四种。对于路面与马路边缘颜色不清晰的马路和室内路面由于无明显区别，机器人视觉系统无法识别，所以通过人工铺设色带或者地面刷油漆等方式布置车道线，这样就可以和第一种路面采用同样的视觉识别方式。第一种路面、第三种路面、第四种路面由于路面有明显的车道线，所以采用识别车道线的方法，第二种路面上路面和路边植被具有明显的分界线，采用基于彩色边缘的道路边界识别方法。本发明中的车道线识别主要采用马路中间黄色车道线，颜色路路面差别很大，所以采用了基于颜色提取边缘的方法，然后用抗干扰较强的RANSAC方法结合Hough变换来提取车道线。具体方法是首先将图像转换到HSV空间上，然后根据颜色阈值将图像变为黄色和非黄色的二值化图像，为减少路面的细小干扰，比如落叶、油漆等，图像处理计算上采用腐蚀后膨胀的方法去除小干扰点。得到二值化图像后，在感兴趣区域从下往上按行扫描，然后每一行中选取黄色点的中间作为可用的边缘点。得到边缘点后进行直线拟合，为去除有干扰因素的边缘点，结合RANSAC和Hough变换的方法来检测并拟合直线，将拟合出的直线作为机器人直线行驶参照基准。本发明中对于路面和路边植被具有明显的分界线的区域，采用基于彩色边缘的道路边界识别方法。这些路面的共同特点就是道路一侧有连续的绿化区域，和道路的颜色有很大区别，因此采用基于颜色的方法来提取边缘，然后再用抗干扰较强的RANSAC方法并结合最小二乘法来提取道路边缘线。具体方法是首先采集图像并将图像转换到HSV空间上，然后将图像进行canny抽边处理，再根据颜色阈值将图像变为绿色和非绿色的二值化图像。得到二值化图像后在感兴趣区域从下往上按行扫描，然后选取每一行中的分界点作为边缘点。得到边缘点后进行直线拟合，为减少边缘点采集过程中的干扰因素，采用RANSAC方法进行两次最小二乘法的直线拟合来减小误差，第一次先拟合一条直线，把误差较大的点去掉，第二次利用剩余的点进行重新拟合得到较为准确的车道线。机器人转弯判断主要采用两种方式一种是采用已知路段的斑马线，另一种就是采用人工设置标识，通过检测到这两种标识并估计出距离标识的距离来获取转弯指令信息，然后按照预设的转弯方法和方向进行转弯。人工设置标识如图4所示，左侧为检测前图像，右侧为标识的检测结果图像，检测标识具体方法为首先进行特定颜色边缘提�。缓罄猛衷材夂系玫酵枷裥畔ⅲ玫酵枷裥畔⒑笪乐刮蠹欤杞硎拘纬傻耐衷步屑煅椋ü匝榉⑾直晔缎纬傻耐衷苍谕枷裰械某叽绾徒嵌榷际怯邢薜模纱私岷鲜匝槭菘梢匀范ê侠肀晔锻衷苍谕枷裰械某ざ讨岱段В杂谠谡飧龇段е獾耐衷苍蚓芫媒峁�。另外，试验中采用的是黄色的标识，理论上标识形成的椭圆内部应该都是黄色的点。通过统计椭圆内部黄色点的比例来排除一些不可能为标识的椭圆区域。为了更好的引导机器人的行驶，在标识检测中需要大概估计机器人与标识的距离，确定转弯点。本发明通过标识的长轴长度来估计机器人与标识的距离，因为长轴的长度是一个仅与距离有关的数据，和观察角度没有关系。本发明的转弯标识在有斑马线区域估计斑马线的起始位置(下边界)与机器人的距离来确定转弯点，如图5所示，左侧为检测前图像，右侧为检测结果的图像，具体方法是采用边缘提取过滤和hough拟合来确定斑马线下边界，通过计算视觉图像中斑马线的下边界与图像下边缘的距离来确定机器人距离斑马线的距离。具体图像识别方法采用基于彩色·边缘的道路边界识别方法，保留斑马线轮廓并去除其它无关边界。得到斑马线轮廓后，通过Hough变换得到斑马线的下边界。通过试验采用斑马线下边界直线到视觉图像下边缘中点的距离作为判断条件指导机器人转弯。有了以上检测到的车道线和转弯标识机器人就可以通过自主控制沿预设路径行驶，机器人自主行驶包括两种方法，一种是机器人沿检测到的车道线直线行驶，一种就是机器人在检测到转弯标识后自主转弯。机器人直线行驶时，需不断的通过摄像机检测出的车道线来计算当前小车和车道线之间的横向位移以及行驶角度偏差。横向位移即为机器人中心与道路边缘的垂直距离。行驶角度偏差即为机器人当前行驶方向和欲行驶的规划路线之间的夹角。为了方便的计算出小车的横向位移偏差和航向角偏差，将检测到的车道边缘图像做逆透视投影变换，将前向图变换成俯视图，这样图像中小车行驶方向和车道边缘的夹角就是航向角误差，小车到车道边缘的垂直距离就是横向位移偏差。由于视觉部分检测需要一定条件的时间，路面的颠簸、小车的旋转都会影响摄像头的清晰度。还有一些极端情况，所需检测的路线会超出小车的视野，也将导致小车视觉导航系统无法正常工作。加上视觉导航本身就存在一定漏检和误检，所以通过小车自身的光码盘和陀螺仪来辅助纠偏，对于小车本身的平稳移动是十分必要的。下面主要介绍辅助纠偏用到的算法思路I.计算路线的直线公式。小车本身的光码盘和陀螺仪打开时，小车将具有自己的全局坐标系，自身定位于原点，面向X坐标轴，垂直于y坐标轴。这样，通过以往的视觉信息，以及当时的所在坐标和自身角度即可求出在自身全局坐标系中正确路线的直线公式。由于小车本身的设定无法在每次路段转弯后将坐标系重置，所以计算直线及之后新的距离偏差和角度偏差，都需要考虑全部四个象限的情况。i.根据小车以前时刻的角度th和当时视觉信息的角度偏差Θ，求出路线的直线公式中的斜率k。根据小车的设定，th在第一第二象限为O 180度，在三四象限为-180 O度，即以X正方向为O度，顺时针为负，逆时针为正。我们同样用此方法设定0，正确路线为O度，顺时针为负，逆时针为正。即可得到斜率的公式4 =〖811(访-0)，其中最终直线与X轴正方向夹角
权利要求
1.一种基于视觉的组合导航机器人，其特征在于，包括 四轮驱动小车，所述小车车体上安装彩色数码摄像机；车体的前端和后端各安装若干个超声波传感器，用于检测机器人周围障碍物距离信息；车体内部安装陀螺仪，用来检测机器人姿态信息；四个光电编码器分别安装在四套伺服驱动电机上，作为里程计使用；电机控制器；机器人车体控制系统计算机，用于保证图像处理和控制的实时性。
2.根据权利要求I所述的基于视觉的组合导航机器人，其特征在于，还包括机器人通讯系统，用于以无线通信方式与远程操作台通讯。
3.根据权利要求I所述的基于视觉的组合导航机器人的导航方法，其特征在于，包括以下步骤 在所述机器人车体控制系统计算机内设置路径參数，所述路径參数包括机器人距离车道线距离、距离道路边缘的距离，机器人距离转弯标识的距离； 机器人通过摄像机采集图像信息，寻找车道线，如果识别到车道线，则沿车道线行走；如果找不到车道线，则寻找道路边缘的植被分界线，如果识别到道路边缘的植被分界线，则沿着该道路边缘行走；如果识别到转弯标识，则进行转弯。
4.根据权利要求3所述的基于视觉的组合导航机器人的导航方法，其特征在于，包括以下步骤 所述机器人直线行驶时，通过摄像机检测出的车道线实时计算当前小车和车道线之间的第一横向位移和第一行驶角度偏差； 实时用光电编码器和陀螺仪的计算当前小车和车道线之间的第二横向位移和第二行驶角度偏差；所述横向位移即为机器人中心与车道线或道路边缘的垂直距离，行驶角度偏差即为机器人当前行驶方向和欲行驶的规划路线之间的夹角； 将每次获取的根据视觉计算出的小车和车道线之间的横向位移以及行驶角度偏差数据与用光电编码器和陀螺仪的计算当前小车和车道线之间的横向位移以及行驶角度偏差数据相比较； 如果第一横向位移与第二横向位移的偏差大于第一位移偏差设定值，或者第一横向位移与第二横向位移的偏差大于第二位移偏差设定值并且第一行驶角度偏差与第二行驶角度偏差大于角度偏差设定值，则小车的直线行走采用光电编码器和陀螺仪计算的数据纠偏，否则采用根据视觉计算出的数据导航。
5.根据权利要求3或4所述的基于视觉的组合导航机器人的导航方法，其特征在于，包括以下步骤 所述机器人通过视觉检测人工设置标识得到机器人转弯信号，为防止机器人在未检测到标识的情况时会出现失控现象，所以同时将光电编码器获取的距离数据进行融合，在光电编码器数据超出设置数据时则认为机器人未检测到标识，机器人则按照光电编码器设置数据转弯，机器人转弯采用差动转向方法，差动转向过程中机器人会因为车轮滑动导致转角存在一定偏差，为减少偏差，使用陀螺仪检测转角，对转角进行补偿，最大程度减少误差。
6.根据权利要求5所述的基于视觉的组合导航机器人的导航方法，其特征在于，包括以下步骤在机器人直行或转弯时，所述超声波传感器实时采集障碍物信息，遇到障碍物则 停车报警，保证机器人以及周围环境安全。
全文摘要
本发明涉及一种基于视觉的组合导航机器人及导航方法，该机器人包括四轮驱动小车，所述小车车体上安装彩色数码摄像机；车体的前端和后端各安装若干个超声波传感器，用于检测机器人周围障碍物距离信息；车体内部安装陀螺仪，用来检测机器人姿态信息；四个光电编码器分别安装在四套伺服驱动电机上，作为里程计使用；电机控制器；机器人车体控制系统计算机，用于保证图像处理和控制的实时性。本发明的导航方法以视觉导航为主的同时，融合了里程计、陀螺仪和超声波传感器的相关信息，实现组合导航，以最大程度上提高系统的可靠性与导航精度。
文档编号G01C21/00GK102789233SQ201210191698
公开日2012年11月21日 申请日期2012年6月12日 优先权日2012年6月12日
发明者姚晓峰, 杨玉枝, 王勇刚, 魏焕兵 申请人:湖北三江航天红峰控制有限公司
专业数控铣床产品供应商
20年生产经验，实力工厂，精工品质，质量有保障
