专利名称:在增强现实中跟踪对象的制作方法
在增强现实中跟踪对象
背景技术:
除非本文中另行指示,否则在本节中描述的材料对于本申请的权利要求不是现有技木,且并不通过将其包括在本节中而认可其是现有技木。在增强现实系统中,使用由计算设备产生的附加信息来提升或增强用户对真实世界的视野。通过提供给用户的显示器,用户可以看到在关注场景中放在实际对象上的虚拟几何形状对象。此外,可以添加并在显示器上显示与实际对象有关的非几何形状虚拟信息。
根据与附图结合的以下描述和所附权利要求,本公开的前述和其他特征将变得更加完全地明显。需要理解的是,这些附图仅示出了根据本公开的若干实施例,且因此不应被视为对其范围进行了限制,将通过使用附图的附加特征和细节来描述本公开,在附图中图I示出了可以用于实现在增强现实中跟踪对象的ー些示例系统;图2示出了可以用于实现在增强现实中跟踪对象的ー些示例系统;图3示出了用于在增强现实中跟踪对象的示例过程的流程图;图4示出了用于在增强现实中跟踪对象的计算机程序产品;以及图5是示出了被布置为根据本公开执行在增强现实中跟踪对象的示例计算设备400的框图;所有附图都根据本文所呈现的至少ー些实施例来布置。
具体实施例方式在以下详细说明中,參考作为详细说明的一部分的附图。在附图中,类似符号通常表示类似部件,除非上下文另行指明。
具体实施方式
部分、附图和权利要求书中记载的示例性实施例并不是限制性的。在不脱离在此所呈现主题的精神或范围的情况下,可以利用其他实施例,且可以进行其他改变。应当理解,在此一般性记载以及附图中图示的本公开的各方案可以按照在此明确和隐含公开的多种不同配置来设置、替换、组合、分割和设计。本公开大体上涉及与在增强现实中跟踪对象有关的方法、装置、系统、设备和计算机程序产品。简而言之,大体上描述了用于跟踪对象的技木。在一些示例中,ー种系统可以包括移动电话和增强现实设备。所述移动电话可以被实现为接收发射波并接收从对象反射的反射波。所述移动电话可以被配置为确定所述发射波和所述反射波之间的差异,并基于所确定的差异来产生第一跟踪数据。所述增强现实设备可以适于接收所述第一跟踪数据,并基于所述第一跟踪数据来确定与所述对象的位置有关的第二跟踪数据。可以基于所确定的第ー跟踪数据和第二跟踪数据在显示器上产生图像。图I示出了可以用于根据本文呈现的至少ー些实施例来实现在增强现实中跟踪对象的一些示例系统。在一些示例中,系统100可以包括照射设备102、监听设备104、网络106、增强现实设备108、以及显示器110。如下面更详细解释的,在一些示例中,照射设备102可以适于使用电磁波来照射对象114。对象114可以在方向116上运动。监听设备104可以适于接收由照射设备102产生的电磁波,并接收从对象114反射的电磁波。基于从照射设备106接收的电磁波和从对象114接收的电磁波之间的差异,监听设备104可以适于产生与对象114的位置有关的信息。可以通过网络106向增强现实设备108发送该信息。设备108可以适于使用该信息以在显示器110上为用户112产生与关注场景118有关的图像142。系统100的组件可以全部设置在关注场景118之内或之外。图2示出了可以用于根据本文所述至少一些实施例来实现在增强现实中跟踪对象的一些示例系统。图2的系统实质上类似于图I的系统100,只是还具有附加细节。为了清楚,不再描述图2中的具有与图I的组件相同标记的这些组件。除了上面描述的图I中的组件之外,系统100还可以包括基站124和GPS卫星群 136。如图2所示,在一些示例中,照射设备102可以包括一个或多个移动电话。在其它示例中,照射设备102可以是适于发送电磁波形的任何设备。在一些示例中,照射设备102可以包括蜂窝通信源、或射频(RF)通信和/或广播源,比如可以用于音频、电视或某个其他数据通信的源。在一些示例中,照射设备102可以包括TV(模拟或数字)广播、全球移动通信系统(GSN)通信、码分多址接入(CDMA)通信、宽带码分多址接入(WCDMA)通信、卫星通信、时分多址接入(TDMA)通信、正交频分多址接入(OFDMA)通信、个人手提电话系统(PHS)通信、调幅(AM)或调频(FM)广播、数字音频广播(DAB)、数字视频广播-陆地(DVB-T)、无线局域网(WLAN)接入点、广域网(WAN)接入点、城域网(MAN)接入点、个域网(PAN)接入点等等。类似地,在一些示例中,照射设备102可以包括TV接收机、数字TV接收机、GSM设备、CDMA设备、AM/FM无线电接收机、PDA、智能电话、卫星无线电接收机、DAB接收机、DVB-T接收机、WLAN设备、WAN设备、MAN设备、以及PAN设备等等。照射设备102可以适于发送电磁波120,比如在照射设备102经由上行链路通信信道与蜂窝网络的基站124通信时。电磁波120可以是全向的,并在很多方向上传播。为了简单起见,示出了 5个方向120a、120b、120c、120d和120e上的波。在一些示例中,波120a和120b入射到在方向116上运动的对象114。波120a和/或120b在撞击对象114时可以从对象114上反射。此外,由于对象114在方向116上运动,从对象114反射的波120a、120b可能经历频移或多普勒频移,如波122所示。监听设备104可以包括一个或多个移动电话,或包括可以用作如上所述的照射设备的任何设备。每个监听电话104可以包括以下ー项或多项天线阵列126、全球定位系统(GPS)?130、网络?132、存储器134、显示器154、检测?150以及相机148,它们都可以与处理器128通信。GPS?130可以适于从GPS卫星群136接收设备104的位置信息。天线阵列126可以适于例如通过使用下面讨论的波束成形算法,形成由监听电话104所使用的电磁检测的方向和増益。网络?132可以适于通过网络106从设备104向设备108传输信息。网络?132和网络106可以是以下各项的一部分或包括以下各项;例如Wi-Fi网络、分组网络、通过短消息服务(SMS)的文本消息通讯、无线局域网(WLAN)个域网(PAN)、广域网(WAN)、城域网(MAN)、以及其他形式的通信,比如蓝牙、Zigbee, WiMax等等。存储器134可以适于存储由监听电话104所使用的信息。相机148可以适于捕捉与关注场景118有关的数据。在一些示例中,可以使用单个移动电话既作为照射设备102也作为监听设备104。例如,单个移动电话可以将不同的频率集合用于照射波120以及用于监听反射波122。单个移动电话可以使用其他类型的波分复用技术,比如时分复用、正交频分复用等等。在一些示例中,可以将监听设备104关联到照射设备102。例如,照射设备102可以适于发送控制信号,以向设备108或网络106中的设备通知照射设备102计划进行照射。设备108可以适于发送控制信号,请求监听设备104监听和/或请求照射设备102照射。如上面參照图I所讨论的,当波120撞击运动对象114时,可以产生反射波122。监听电话104的天线126可以适于接收反射波122和/或发射波120e。例如,可以由监听电话104通过监听电话104的直接信道和回声信道来接收波122和120e。处理器128可以适于确定反射波122和发射波120之间的差异。在一些示例中,可以通过使用下面更详细讨论的互相关处理,将该差异用于确定多普勒频谱。如下面更详细解释的,当差异高于阈值时,处理器128可以适于确定与对象114的位置有关的跟踪数据140。在一些示例中,可以基于用于检测在多普勒频谱中是否发生漂移的检测方法来确定该阈值。不同的检测方法可以导致不同的阈值。例如,如果系统100使用恒定误报率(CRAF)检测,则可以计算检测阈值,使得系统维持恒定的预定误报概率。每个监听设备104可以适于通过例如GPS?130或通过与基站124的通信来确定其自身的位置。例如,每个基站124可以适于将基站的相应GPS位置传输给监听设备104。监听设备104中的处理器128可以适于对设备104和每个基站124之间的距离进行近似,并从而三角測量(triangulate)出设备104的位置。处理器128确定波102和波122之间的差异。处理器128可以适于使用波束成形算法来确定相对于监听设备104的对象114的跟踪数据140。在一些示例中,波束成形算法可以用于确定跟踪数据140,比如对象114的位置的估计、由对象114的运动所造成的多普勒频谱中的变化、对象114和监听电话104之间的角度和/或对象114和监听电话104之间在角度或速度上的改变。波束成形算法可以存储在存储器134中,并且可以是例如卡尔曼(Kalman)滤波器。如果电话104包括显示器154,处理器128可以适于使用跟踪数据140在显示器154上显示对象的图像。处理器128可以适于将跟踪数据140与相机148捕捉的数据相结合,和/或在显不器154上显不结合的信息。处理器128可以适于通过网络?132和网络106向设备108发送包括时间和/或日期戳在内的跟踪数据140。设备108可以适于接收跟踪数据140。跟踪数据140可以由设备108从多个监听电话104接收。可以将跟踪数据140与关于关注场景118的其他数据(比如从相机138捕捉的数据和/或来自相机148的数据)相结合,以在显示器110上产生关注场景118的图像142。显示器110可以是任何形式的显示器,比如计算机监视器110a、移动电话110b、或某个其他移动设备(未示出),且可以被设置在关注场景118之内或之外。例如,监听电话104和/或照射电话102可以用于显示器110。设备108可以适于从多个监听设备104接收跟踪数据140,以及确定对象114的增强跟踪数据152。在一些示例中,可以从3个监听设备接收跟踪数据140。在这些示例中,每个跟踪数据可以指示相应监听设备的位置以及对象和相应监听设备之间的距离。设备108可以适于三角測量对象114的位置。设备108可以适于向显示器110发送增强跟踪数 据152。如上所述,在一些示例中,显示器110可以是监听或照射移动电话104或102。在一些示例中,如果监听电话104包括与显示器IlOb相对应的显示器154,处理器128可以适于基于增强跟踪数据152来更新显示器154。在一些示例中,照射和监听设备102和104可以适于有规律地向设备108发送跟踪数据140。除了上述数据之外,跟踪数据140可以包括每个设备的标识、每个设备的位置、以及被实现的模式(比如照射或监听)。在一些示例中,设备108可以在设备102或104的外部,且通过网络106进行通信。在一些示例中,设备108执行的过程可以是分布在设备102和/或104中的软件,设备可以被配置为使用网络106来彼此通信。在监听设备104和设备108检测到运动对象114之后,监听设备104和设备108可以适于跟踪对象114。在一些示例中,设备108可以首先确定设备102或104中哪个设备可用于在场景118中跟踪对象114。在一些示例中,设备108可以适于向特定设备发送控制信号,以请求这些设备被配置为照射或监听。例如,如图2所示,设备108可以适于发送控制信号,以配置设备102照射且配置设备104监听。例如,随着对象114向图中右侧运动,控制信号可以首先请求设备102a应当适于照射且设备102b应当适于监听。之后,控制信号可以请求设备102b适于照射且设备104b适于监听。
如上所述,当对象114相对于照射设备运动时,对象114引起多普勒频谱中的变化。该变化可以由监听设备104通过测量波120和波122之间的差异来检测到。例如,监听设备104可以在天线阵列126中的2个不同信道上接收波120和波122。处理器128可以适于对波120和波122执行信号处理,比如以下ー项或多项盲均衡、放大、衰减(例如,增益缩放)、下变频、解调、数字化(例如,由比较器和/或模数转换器进行量化)、数据格式化、信号校正(例如,正交信号校正、乘法信号校正等等)、带宽滤波(例如,使用无源或有源滤波器,比如带通、低通、高通滤波器等等)、自适应滤波、信号平均、和/或数据平均。在一些示例中,可以由处理器128使用如在信号处理?150处所示的专用硬件?槔粗葱猩鲜鲂藕糯。处理器128可以适于在波102和波122之间执行相干互相关,以确定多普勒频谱。可以针对跟踪数据140的至少一部分来使用高于定义的阈值的多普勒频谱中的改变。在可能的优点中,可以使得监听设备便携、低成本和低功耗。可以执行针对监听设备的附加频率分配,但是这不是必需的。在一些实施例中,监听设备可以具有高的反隐形能力,因为它们可以是无源设备。在一些实施例中,作为不主动发送信号的无源设备,可以用隐蔽(covert)的方式来执行任务。例如,监听设备可以在不主动发送任何类型的信号的情况下跟踪运动对象。因此,其他设备可能难以检测到监听设备正在尝试执行跟踪。在不对现有硬件进行修改的情况下,可以将现有的移动电话用作监听设备。添加异类传感器(heterogeneous sensor)可以增加来自校准和数据融合的复杂度。由于可以由移动电话来照射対象,因此可以容易地组织根据本公开而布置的系统。由于移动电话容易具有不同的物理位置,在一些所述系统中的移动电话可以包括对象散射的空间分集。这可以使得能够覆盖更宽的区域,且甚至能够跟踪远距离的弱散射(weak scattered)的对象。根据本公开的系统可以使用移动电话将被跟踪的对象与从电话上的相机捕捉的信息加以整合。图3示出了根据本公开的至少ー些实施例的用于在增强现实中跟踪对象的示例过程的流程图。可以使用例如上述系统100来实现图3的过程。示例过程可以包括如块S2、S4、S6、S8、S10、S12、S14、S16、S18、S20、S22、S24 和/或 S26 中一个或多个所示的ー个或多个操作、动作或功能。尽管示出为分离的块,可以根据期望的实现将各个块分为附加块、结合为较少的块、或消除。处理可以开始于块S2。在块S2,诸如移动电话之类的照射设备可以适于使用发送的电磁波来照射対象。可以例如通过与基站通信来执行该照射。块S2之后可以是块S4。在块S4,监听设备,比如移动电话,可以被布置为检测发送的电磁波。处理可以从块S4继续至块S6。在块S6,监听设备可以被布置为检测从对象反射的波。处理可以从块S6继续至块S8。在块S8,监听设备可以适于比较发射波和反射波,以确定差异。处理可以从块S8继续至块SlO。在块S10,可以由监听设备进行该差异是否高于阈值的查询。当确定该差异低于阈值时(“否”),处理可以从块SlO继续至块S4。否则,当确定该差异高于阈值时(“是”),处理可以从块SlO继续至块S12。在块S12,监听设备可以适于确定跟踪数据。跟踪数据可以包括在上面在跟踪数据140中所提到的信息。处理可以从块S12继续至块S14和S22。在块S22,如果监听设备包括显示器,监听设备可以适于基于跟踪数据来显示与对象有关的信息。在块S14,监听设备可以适于向增强现实设备发送跟踪数据。处理可以从块S14继续至块S16。在块S16,增强现实设备可以被布置为接收从多个监听设备接收到的跟踪数据。处理可以从块S16继续至块S18。在块S18,设备可以适于确定与对象的位置有关的增强跟踪数据。处理可以从块S18继续至块S20。在块S20,增强现实设备可以被配置为向显示器发送增强跟踪数据。处理可以从块S20继续至块S24。在块S24,如果监听设备包括显示器,则监听设备可以适于接收增强跟踪数据。处理可以从块S24继续至块S26。在块S26,监听设备可以适于基于增强跟踪数据来更新显示器。图4示出了根据本公开的至少ー些示例的用于在增强现实中跟踪对象的示例计算机程序产品300。程序产品300可以包括信号承载介质302,信号承载介质302可以包括ー个或多个指令304,当由例如处理器来执行时,指令304可以提供上面參照图I至3所述的功能。从而,例如參见系统100,照射设备102、监听设备104和/或设备108中的处理器中的一个或多个可以响应于由介质302传递给系统100的指令304,采取图4所示的ー个或多个块。在一些实现中,信号承载介质302可以包括计算机可读介质306,比如(但不限干)硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、存储器等。在一些实现中,信号承载介质302可以包括可记录介质308,比如(但不限于)存储器、读/写(R/W)⑶、R/WDVD等等。在一些实现中,信号承载介质302可以包括通信介质310,比如(但不限干)数字和/或模拟通信介质(例如,光纤电缆、波导、有线通信链路、无线通信链路等等)。从而可以通过例如RF信号承载介质302向系统100的一个或多个?榇莩绦虿300,其中,信号承载介质302通过无线通信介质310 (例如,遵循IEEE 802. 11标准的无线通信介质)来传递。图5是示出了根据本公开的至少ー些实施例的被设置用于执行在增强现实中跟踪对象的示例计算设备400的方框图。在非常基本的配置402中,计算设备400典型地包括一个或多个处理器404以及系统存储器406。存储器总线408可用于在处理器404和系统存储器406之间进行通信。根据所期望的配置,处理器404可以是任意类型的,包括但不限于微处理器(μ P)、微控制器(μ C)、数字信号处理器(DSP)或其任意組合。处理器404可以包括ー级或多级缓存(例如,ー级高速缓存410和ニ级高速缓存412)、处理器核414、以及寄存器416。示例处理器核414可以包括算木逻辑单元(ALU)、浮点単元(FPU)、数字信号处理核(DSP核)或其任意組合。示例存储器控制器418也可以与处理器404 —起使用,或者在ー些实施方式中,存储器控制器418可以是处理器404的内部部件。根据所期望的配置,系统存储器406可以是任意类型的,包括但不限于易失性存储器(如RAM)、非易失性存储器(如ROM、闪存等)或其任意组合。系统存储器406可以包括操作系统420、一个或多个应用程序422和程序数据424。应用程序422可以包括在增强现实算法426中跟踪对象,该增强现实算法426被布置为执行本文所述的包括之前通过图I至4所述的那些在内的功能。程序数据424可以包括对象跟踪数据428,该对象跟踪数据428可以用于在如本文所述的增强现实算法中跟踪对象。在一些实施例中,应用程序422可以设置为在操作系统420上以程序数据424操作,使得可以提供在增强现实系统中跟踪对象。这里所描述的基本配置402在图5中由内部虚线中的部件来表示。计算设备400可以具有额外特征或功能以及额外接ロ,以有助于基本配置402与任意所需设备和接ロ之间进行通信。例如,总线/接ロ控制器430可以有助于基本配置402与ー个或多个数据存储设备432之间经由存储接ロ总线434进行通信。数据存储设备432可以是可拆除存储设备436、不可拆除存储设备438或其组合。可拆除存储设备和不可拆除存储设备的示例包括磁盘设备(如软盘驱动器和硬盘驱动器(HDD))、光盘驱动器(如紧致盘(CD)驱动器或数字通用盘(DVD)驱动器)、固态驱动器(SSD)以及磁带驱动器,这仅仅是极多例子中的一小部分。示例计算机存储介质可以包括以任意信息存储方法和技术实现的易失性和非易失性、可拆除和不可拆除介质,如计算机可读指令、数据结构、程序?榛蚱渌。系统存储器406、可拆除存储设备436和不可拆除存储设备438均是计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、EEPR0M、闪存或其他存储器技术,CD-ROM、数字多功能盘(DVD)或其他光存储设备,磁盒、磁带、磁盘存储设备或其他磁存储设备,或可以用于存储所需信息并可以由计算设备400访问的任意其他介质。任何这种计算机存储介质可以是设备400的一部分。
计算设备400还可以包括接ロ总线440,以有助于各种接ロ设备(例如,输出设备442、外围设备接ロ 444和通信设备446)经由总线/接ロ控制器430与基本配置402进行通信。示例输出设备442包括图形处理单元448和音频处理単元450,其可被配置为经由一个或多个A/V端ロ 452与多种外部设备(如显示器或扬声器)进行通信。示例外围设备接ロ 444包括串行接ロ控制器454或并行接ロ控制器456,它们可被配置为经由ー个或多个I/O端ロ 458与外部设备(如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备等))或其他外围设备(例如,打印机、扫描仪等)进行通信。示例通信设备446包括网络控制器460,其可以被设置为经由ー个或多个通信端ロ 464与ー个或多个其他计算设备462通过网络通信链路进行通信。网络通信链路可以是通信介质的ー个示例。通信介质典型地可以由调制数据信号(如载波或其他传输机制)中的计算机可读指令、数据结构、程序?榛蚱渌堇刺逑郑⒖梢园ㄈ我庑畔⒋徒橹。“调制数据信号”可以是通过设置或改变ー个或多个特性而在该信号中实现信息编码的信号。例如,但并非限制性地,通信介质可以包括有线介质(如有线网络或直接布线连接)、以及无线介质(例如声、射频(RF)、微波、红外(IR)和其他无线介质)。这里所使用的术语计算机可读介质可以包括存储介质和通信介质。计算设备400可以实现为小体积便携式(或移动)电子设备的一部分,如蜂窝电 话、个人数据助理(PDA)、个人媒体播放设备、无线web浏览设备、个人耳机设备、专用设备或包括任意上述功能的混合设备。计算设备400也可以实现为个人计算机,包括膝上型计算机和非膝上型计算机配置。本公开不限于在本申请中描述的具体示例,这些具体示例意在说明不同方案。本领域技术人员清楚,不脱离本公开的精神和范围,可以做出许多修改和变型。本领域技术人员根据之前的描述,除了在此所列举的方法和装置之外,还可以想到本公开范围内功能上等价的其他方法和装置。这种修改和变型应落在所附权利要求的范围内。本公开应当由所附权利要求的术语及其等价描述的整个范围来限定。应当理解,本公开不限于具体方法、试齐U、化合物组成或生物系统,这些都是可以改变的。还应理解,这里所使用的术语仅用于描述具体示例的目的,而不应被认为是限制性的。至于本文中任何关于多数和/或単数术语的使用,本领域技术人员可以从多数形式转换为単数形式,和/或从单数形式转换为多数形式,以适合具体环境和应用。为清楚起见,在此明确声明単数形式/多数形式可互換。本领域技术人员应当理解,一般而言,所使用的术语,特别是所附权利要求中(例如,在所附权利要求的主体部分中)使用的术语,一般地应理解为“开放”术语(例如,术语“包括”应解释为“包括但不限干”,术语“具有”应解释为“至少具有”等)。本领域技术人员还应理解,如果意在所引入的权利要求中标明具体数目,则这种意图将在该权利要求中明确指出,而在没有这种明确标明的情况下,则不存在这种意图。例如,为帮助理解,所附权利要求可能使用了引导短语“至少ー个”和“一个或多个”来引入权利要求中的特征。然而,这种短语的使用不应被解释为暗示着由不定冠词“一”或“一个”引入的权利要求特征将包含该特征的任意特定权利要求限制为仅包含一个该特征的实施例,即便是该权利要求既包括引导短语“ー个或多个”或“至少ー个”又包括不定冠词如“一”或“ー个”(例如,“一”和/或“一个”应当被解释为意指“至少ー个”或“ー个或多个”);在使用定冠词来引入权利要求中的特征时,同样如此。另外,即使明确指出了所引入权利要求特征的具体数目,本领域技术人员应认识到,这种列举应解释为意指至少是所列数目(例如,不存在其他修饰语的短语“两个特征”意指至少两个该特征,或者两个或更多该特征)。另外,在使用类似于“A、B和C等中至少ー个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少ー个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少ー个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少ー个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解,实质上任意表示两个或更多可选项目的转折连词和/或短语,无论是在说明书、权利要求书还是附图中,都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如,短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。另外,在以马库什组描述本公开的特征或方案的情况下,本领域技术人员应认识至IJ,本公开由此也是以该马库什组中的任意単独成员或成员子组来描述的。 本领域技术人员应当理解,出于任意和所有目的,例如为了提供书面说明,这里公开的所有范围也包含任意及全部可能的子范围及其子范围的组合。任意列出的范围可以被容易地看作充分描述且实现了将该范围至少进行二等分、三等分、四等分、五等分、十等分等。作为非限制性示例,在此所讨论的每ー范围可以容易地分成下三分之一、中三分之一和上三分之一等。本领域技术人员应当理解,所有诸如“直至”、“至少”、“大干”、“小干”之类的语言包括所列数字,并且指代了随后可以如上所述被分成子范围的范围。最后,本领域技术人员应当理解,范围包括每ー单独数字。因此,例如具有I 3个单元的组是指具有1、2或3个单元的组。类似地,具有I 5个单元的组是指具有1、2、3、4或5个单元的组,以此类推。尽管已经在此公开了多个方案和实施例,但是本领域技术人员应当明白其他方案和实施例。这里所公开的多个方案和实施例是出于说明性的目的,而不是限制性的,本公开的真实范围和精神由所附权利要求表征。
权利要求
1.一种在增强现实系统中使用移动电话来跟踪实际对象在关注场景中的位置的方法,所述方法包括 使用所述移动电话中的天线来接收发射波; 使用所述天线来接收反射波,其中,所述反射波与使用所述发射波照射时从所述对象反射的能量相关联; 由与所述天线通信的处理器来确定所述发射波和所述反射波之间的差异; 所述处理器基于所述差异来产生跟踪数据,所述跟踪数据与所述实际对象在所述关注场景中的位置相关联;以及 将所述跟踪数据与关于所述关注场景的附加数据相结合,以产生结合数据,其中,所述结合数据表示所述实际对象在所述增强现实系统中的位置。
2.根据权利要求I所述的方法,其中,所述处理器是第一处理器,以及所述方法还包括通过网络从所述第一处理器向第二处理器发送所述跟踪数据。
3.根据权利要求2所述的方法,其中,所述移动电话是第一移动电话,以及所述方法还包括由第二移动电话产生所述发射波。
4.根据权利要求3所述的方法,还包括从所述第二移动电话向所述第一移动电话发送控制信号,所述控制信号被实现为请求所述第一移动电话监听所述发射波。
5.根据权利要求3所述的方法,其中,所述方法还包括所述第二移动电话与基站通信;以及,所述第二移动电话被实现为在与所述基站通信时产生所述发射波。
6.根据权利要求I所述的方法,其中,所述发射波由所述移动电话在第一时间产生,所述反射波由所述移动电话在第二时间接收,所述发射波具有包括第一频率集合在内的第一频谱,以及所述反射波具有包括第二频率集合在内的第二频谱。
7.根据权利要求I所述的方法,其中,所述跟踪数据包括所述处理器的位置。
8.根据权利要求7所述的方法,其中,所述跟踪数据包括所述处理器和所述实际对象之间的距离。
9.根据权利要求3所述的方法,还包括从所述第二处理器向所述第二移动电话发送控制信号,所述控制信号被实现为请求所述第二移动电话照射所述实际对象。
10.根据权利要求7所述的方法,其中,所述跟踪数据包括以下至少ー项所述反射波相对于所述发射波的多普勒频谱变化、所述实际对象和所述移动电话之间的角度、所述实际对象和所述移动电话之间的角度变化、或所述实际对象的速度。
11.根据权利要求I所述的方法,其中,所述差异涉及由所述实际对象相对于所述移动电话的运动而引起的多普勒频谱变化。
12.根据权利要求I所述的方法,其中,所述跟踪数据是第一跟踪数据,以及所述方法还包括所述第二处理器确定与所述实际对象的位置有关的第二跟踪数据,所述第二跟踪数据基于由所述移动电话和另ー移动电话产生的至少两个第一跟踪数据集合。
13.根据权利要求I所述的方法,还包括 所述移动电话中的相机捕捉与关注场景有关的数据;以及 所述移动电话基于所述跟踪数据和所述与关注场景有关的数据来显示图像。
14.根据权利要求12所述的方法,还包括 所述移动电话中的相机捕捉与关注场景有关的数据;所述移动电话接收所述第二跟踪数据;以及 所述移动电话基于所述第二跟踪数据和所述与关注场景有关的数据来显示图像。
15.根据权利要求12所述的方法,还包括 与所述第二处理器通信的相机捕捉与关注场景有关的数据; 基于所述第二跟踪数据和所述与关注场景有关的数据来产生图像;以及 向显示器发送所述图像。
16.ー种被配置为实现根据权利要求I所述的方法的移动电话,所述移动电话包括 处理器; 存储器,被布置为与所述处理器通信; 天线,被布置为与所述处理器通信,所述天线被实现为与基站通信,所述天线被实现为接收发射波以及接收反射波,其中,所述反射波与使用所述发射波照射时从所述对象反射的能量相关联; 其中,所述处理器被实现为 确定所述发射波和所述反射波之间的差异; 基于所述差异来产生跟踪数据,所述跟踪数据与所述实际对象在所述关注场景中的位置相关联; 将所述跟踪数据与关于所述关注场景的附加数据相结合,以产生结合数据,其中,所述结合数据表示所述实际对象在所述增强现实系统中的位置;以及 在所述存储器中存储所述跟踪数据。
17.根据权利要求16所述的移动电话,还包括显示器,被布置为与所述处理器通信,其中,所述处理器被实现为基于所述跟踪数据来产生图像,以及所述显示器被实现为显示所述图像。
18.根据权利要求17所述的移动电话,还包括相机,被布置为与所述处理器通信,其中,所述相机被实现为捕捉与关注场景有关的数据,以及所述处理器被配置为基于所述跟踪数据和所述与关注场景有关的数据来产生所述图像。
19.ー种增强现实设备,被实现为使用从移动电话接收到的第一跟踪数据来跟踪实际对象在关注场景中的位置,所述第一跟踪数据涉及发射波和反射波之间的差异,所述反射波与使用所述发射波照射时从所述实际对象反射的能量相关联,所述增强现实设备包括 处理器; 存储器,被布置为与所述处理器通信;以及 天线,被布置为与所述处理器通信,所述天线被实现为接收所述第一跟踪数据,所述第一跟踪数据涉及所述实际对象在所述关注场景中的位置,其中,所述处理器被配置为基于所述第一跟踪数据,确定与所述实际对象在所述关注场景中的位置有关的第二跟踪数据,以及所述处理器被配置为将所述第一跟踪数据和所述第二跟踪数据与关于所述关注场景的附加数据相结合,以产生结合数据,其中,所述结合数据表示所述实际对象在所述增强现实系统中的位置。
20.根据权利要求19所述的设备,其中,所述处理器被实现为从多个移动电话接收所述第一跟踪数据。
21.根据权利要求19所述的设备,还包括显示器,布置为与所述处理器通信,其中,所述处理器被实现为基于所述第二跟踪数据来产生图像,以及所述显示器被实现为显示所述图像。
22.一种用于跟踪实际对象在关注场景中的位置的方法,所述方法用在根据权利要求19所述的增强现实设备中,所述方法包括 在处理器处从ー个或多个移动电话接收第一跟踪数据,所述第一跟踪数据涉及发射波和反射波之间的差异,所述反射波与使用所述发射波照射时从所述实际对象反射的能量相关联,所述第一跟踪数据涉及所述实际对象在所述关注场景中的位置; 所述处理器基于所述第一跟踪数据确定与所述对象的位置有关的第二跟踪设备;以及所述处理器将所述第一跟踪数据和所述第二跟踪数据与关于所述关注场景的附加数据相结合,以产生结合跟踪数据,其中,所述结合跟踪数据表示所述实际对象在所述增强现实系统中的位置。
23.根据权利要求22所述的方法,还包括 所述处理器基于所述第二跟踪数据产生图像;以及 在显示器上显示所述图像。
24.一种用于在增强现实中跟踪实际对象在关注场景中的位置的系统,所述系统包括 移动电话,所述移动电话包括 第一处理器, 第一天线,被布置为与所述第一处理器通信,其中,所述第一天线被实现为与基站通信,所述第一天线被实现为接收发射波以及接收从所述实际对象反射的反射波,其中,所述反射波与在使用所述发射波照射时从所述实际对象反射的能量相关联, 其中,所述第一处理器被实现为确定所述发射波和所述反射波之间的差异,以及被实现为基于所述差异来产生第一跟踪数据,所述第一跟踪数据与所述实际对象在所述关注场景中的位置相关联; 根据权利要求19所述的增强现实设备,所述增强现实设备包括 第二处理器, 第二天线,被布置为与所述第二处理器通信, 其中,所述第二天线被实现为接收所述第一跟踪数据,所述第二处理器适于基于所述第一跟踪数据,确定与所述实际对象的位置有关的第二跟踪数据,以及所述第二处理器适于将所述第一跟踪数据和所述第二跟踪数据与关于所述关注场景的附加数据相结合,以产生结合跟踪数据,其中,所述结合跟踪数据表示所述实际对象在所述增强现实中的位置。
25.根据权利要求24所述的系统,其中,所述移动电话是第一移动电话,以及所述系统还包括第二移动电话,其中,所述第二移动电话被实现为产生所述发射波。
26.根据权利要求25所述的系统,其中,所述第二处理器被实现为向所述第二移动电话发送控制信号,以及所述控制信号被实现为请求所述第二移动电话照射所述对象。
27.根据权利要求25所述的系统,其中, 所述基站是第一基站; 所述第二移动电话还被实现为与第二基站通信;以及 所述第二移动电话被实现为在与所述第二基站通信时产生所述发射波。
28.根据权利要求24所述的系统,其中所述发射波由所述移动电话在第一时间产生,所述发射波具有包括第一频率集合在内的第一频谱;以及 所述移动电话被实现为在第二时间操作以接收所述反射波,所述反射波具有包括第二频率集合在内的第二频谱。
29.根据权利要求24所述的系统,其中,所述第一跟踪数据包括所述第一处理器的位置。
30.根据权利要求24所述的系统,其中,所述第一跟踪数据包括以下至少ー项所述第一处理器和所述实际对象之间的距离、与所述反射波相关联的多普勒频谱变化、所述实际对象和所述移动电话之间的角度、所述实际对象和所述移动电话之间的角度变化、或所述实际对象的速度。
31.根据权利要求24所述的系统,其中,所述差异涉及由所述实际对象相对于所述移动电话的运动而引起的多普勒频谱变化。
32.根据权利要求24所述的系统,还包括显示器,被布置为与所述第一处理器通信,其中,所述第一处理器被实现为基于所述第二跟踪数据产生图像,以及所述显示器被实现为显示所述图像。
33.根据权利要求32所述的系统,还包括相机,被布置为与所述第一处理器通信,其中,所述相机被实现为捕捉与关注场景有关的数据;以及所述第一处理器被实现为基于所述第二跟踪数据和所述与关注场景有关的数据来产生所述图像。
34.ー种计算机存储介质,具有存储于其上的计算机可执行指令,当由计算设备执行所述计算机可执行指令时,所述计算机可执行指令使得所述计算设备执行根据权利要求I所述的在增强现实系统中使用移动电话来跟踪实际对象在关注场景中的位置的方法,所述方法包括 使用所述移动电话中的天线来接收发射波; 使用所述天线来接收反射波,其中,所述反射波与使用所述发射波照射时从所述对象反射的能量相关联; 由与所述天线通信的处理器来确定所述发射波和所述反射波之间的差异; 所述处理器基于所述差异来产生跟踪数据,所述跟踪数据与所述实际对象在所述关注场景中的位置相关联;以及 将所述跟踪数据与关于所述关注场景的附加数据相结合,以产生结合数据,其中,所述结合数据表示所述实际对象在所述增强现实系统中的位置。
35.根据权利要求34所述的计算机可读存储介质,其中,所述差异涉及由所述对象相对于所述移动电话的运动而引起的多普勒频谱变化。
36.一种用于在增强现实中跟踪实际对象在关注场景中的位置的系统,所述系统包括 第一移动电话,所述第一移动电话包括 第一处理器, 第一天线,被布置为与所述第一处理器通信,其中,所述第一天线被实现为与第一基站通信,所述第一天线被实现为接收第一发射波以及接收从所述对象反射的第一反射波,其中,所述第一反射波与使用所述第一发射波照射时从所述实际对象反射的第一能量相关联,其中,所述第一处理器被实现为确定所述第一发射波和所述第一反射波之间的第一差异,以及被实现为基于所述差异来产生第一跟踪数据,所述第一跟踪数据与所述实际对象在所述关注场景中的位置相关联; 第二移动电话,所述第二移动电话包括 第二处理器, 第二天线,被布置为与所述第二处理器通信,其中,所述第二天线被实现为与第二基站通信,所述第二天线被实现为接收第二发射波以及接收从所述对象反射的第二反射波,其中,所述第二反射波与使用所述第二发射波照射时从所述对象反射的第二能量相关联, 其中,所述第二处理器被实现为确定所述第二发射波和所述第二反射波之间的第二差异,以及被实现为基于所述第二差异来产生第二跟踪数据,所述第二跟踪数据与所述实际对象在所述关注场景中的位置相关联; 根据权利要求19所述的增强现实设备,所述增强现实设备包括 第三处理器, 第三天线,被布置为与所述第三处理器通信, 其中,所述第三天线被实现为接收所述第一跟踪数据和所述第二跟踪数据,所述第三处理器适于基于所述第一跟踪数据和所述第二跟踪数据,确定与所述实际对象的位置有关的第三跟踪数据,以及所述第二处理器适于将所述第一跟踪数据、所述第二跟踪数据以及所述第三跟踪数据与关于所述关注场景的附加数据相结合,以产生结合跟踪数据,其中,所述结合跟踪数据表示所述实际对象在所述增强现实系统中的位置。
37.根据权利要求36所述的系统,还包括第三移动电话,其中,所述第三移动电话被实现为产生所述第一发射波。
全文摘要
本发明大体上描述了用于跟踪对象的技术。在一些示例中,系统可以包括移动电话和增强现实设备。所述移动电话可以用于接收发射波和从对象反射的反射波。所述移动电话可以被配置为确定所述发射波和所述反射波之间的差异,以及基于所确定的差异来产生第一跟踪数据。所述增强现实设备可以适于接收所述第一跟踪数据,并基于所述第一跟踪数据确定与所述对象的位置相关的第二跟踪数据。可以基于所确定的第一和第二跟踪数据,在显示器上产生图像。
文档编号G01S13/00GK102668605SQ201180004879
公开日2012年9月12日 申请日期2011年2月16日 优先权日2010年3月2日
发明者亨利·梁 申请人:英派尔科技开发有限公司