具体实施方式

作为本发明的实施例的示例，图1示出了在远程存在的机器人TR中的控制系统100的一般配置的概念图，该远程存在的机器人TR是由操作者P使用操作单元10经由网络9操作的远程控制机器人。

远程存在的机器人TR包括：相机20，其是运动图像采集单元；运动单元21，其配置有轮子或环带，以便能够运动；接收单元22，用于从操作单元10接收操作指示；以及控制单元30，用于根据由接收单元22接收的操作指示来控制远程存在的机器人TR的各部件。

操作单元10包括：运动图像显示单元11，用于显示操作者P观看的图像或视频以执行操作；以及运动指示单元12，其包括多个按钮以指示如图2所示的运动方向。

操作单元10通过经由无线或有线网络9的通信向远程存在的机器人TR发送数据和从远程存在的机器人TR接收数据。

具体地，由远程存在的机器人TR利用相机20捕获的运动图像被发送到运动图像显示单元11，并且由操作者P在观看运动图像显示单元11时使用运动指示单元12做出的操作指示被发送到远程存在的机器人TR的接收单元22。

运动指示单元12具有作为运动方向指示单元的功能，该运动方向指示单元包括例如四个按钮，即向前运动指示按钮12a，右转指示按钮12b，向后运动指示按钮12c和左转指示按钮12d。

尽管在本实施例中接收单元22与控制单元30分开表示，但是接收单元22可以作为控制单元30中的单个功能来提供，并且本发明不限于这种配置。

如图3所示，控制单元30包括：运动目的地预测单元31，用于基于由接收单元22接收的操作指示来预测远程存在的机器人TR的运动目的地；以及自主控制单元32，用于基于关于周围环境的信息，根据操作指示来自主地校正到运动目的地的运动。

控制单元30还包括用于测量延迟时间td的延迟测量单元33，该延迟时间td是在相机20获取运动图像的时刻和在接收单元22处接收到由操作者P基于运动图像做出的操作指示的时刻之间的时间量，这将在后面描述。

基于从接收单元22接收到的操作指示，运动目的地预测单元31确定要朝哪个方向运动(向前，向后，向左或向右)，并如稍后将描述的那样预测假设的运动目的地Q。

自主控制单元32基于由运动目的地预测单元31预测的运动目的地Q和由相机20获得的关于周围环境的信息来控制运动单元21到运动目的地Q的运动。

延迟测量单元33例如通过以下方式来测量延迟时间：当将在后面描述的运动图像帧F1被发送到操作单元10时发送加时间戳的运动图像，并且测量执行发送的时间与操作单元10接收到加时间戳的运动图像的时间之间的时间差。注意，这种测量延迟时间的方式仅作为示例给出。例如，可以发送和接收数据以便在网络9上进行往返，并且可以根据发送和接收数据所需的时间量来测量延迟时间。或者，可以采用能够测量网络上的延迟的任何已知方法。

当使用这种控制系统100时，在网络9上发送和接收所需的时间量引起问题，即如图4所示，在由相机20获取的云动图像帧和在由发送和接收而延迟之后在运动图像显示单元11上显示的运动图像帧之间出现与运动图像发送和接收时间t1相对应的延迟。此外，在远程存在的机器人TR的接收单元22接收到由操作者P发出的操作指示的时间被延迟了延迟时间td，延迟时间td对应于运动图像发送和接收时间t1、操作确定时间t2、以及操作指示发送和接收时间t3的总和，，操作确定时间t2是操作者P观看运动图像的时刻与操作者P使用运动指示单元12实际发出操作指示的时刻之间的时间，操作指示发送和接收时间t3是操作指示从操作单元10到达接收单元22所花费的时间量。

也就是说，当操作者P远程操作远程存在的机器人TR时，不可避免地发生大于或等于延迟时间td的延迟，直到实际接收到操作指示并且在相机20捕获的运动图像帧之后开始运动，如图4所示。众所周知，当使用典型的当前网络9时，会出现td＝大约0.3到0.4秒的延迟。

换句话说，当操作员P在观看在运动图像显示单元11上显示的帧F1的同时发送操作指示，然后远程存在的机器人TR实际操作时，情况通常可能不同于由相机20获取的表示实际周围环境的帧F13。因此，可能会发出不适合相机20获取的帧F13中的远程存在的机器人TR周围环境的操作指示。

在远程操作远程存在的机器人TR时，不可能使这种延迟时间td为零。此外，这种延迟时间td可能是操作远程存在的机器人TR的非预期事故或失败的原因，例如超越要进行的路径，或当人或物体突然出现在路线上作为障碍物时与人或物体碰撞。

为了解决这种问题，可以设想一种允许在不操作机器人的情况下机器人本身确定路线的方法。然而，在通过简单编程的自主控制的运动中，操作者P不能按需要操作机器人。因此，出现这样的问题，即难以正确地执行诸如远程巡逻期望的站点的任务。

为了解决这种问题，本发明包括自主控制单元32，用于基于相机20获取的运动图像，来自主地校正根据操作指示到运动目的地Q的运动。

控制单元30还包括延迟测量单元33，用于测量延迟时间td，该延迟时间td是在相机20获取运动图像的时刻和在接收单元22处接收到由操作者P基于运动图像做出的操作指示的时刻之间的时间量，这将在后面描述。

以下将参照图5至7详细描述这种自主控制单元32的操作。

首先，假设等于图4所示的延迟时间td的延迟发生在操作者P观看运动图像显示单元11上的运动图像并且实际上发出操作指示之前。

基于在接收单元22接收到操作指示A的时刻的照相机20的运动图像帧(特别是图5中的帧F13)，自主控制单元32向运动单元21指示通过基于帧F13校正操作指示A而获得的自主操作13A。此外，当此后接收到操作指示B至R时，例如，基于在如图5所示接收到操作指示B至R时的相机20的运动图像帧(F14至F25)来依次执行自主操作14B至25M。

与通过直接按照仅基于运动图像帧F1进行的运动控制A来执行运动相比，可以通过进行自主操作13A来实现考虑了由最新运动图像帧F13获得的周围环境的高精度控制，通过基于运动图像帧F13来校正已经基于运动图像帧F1发出的操作指示A而获得自主操作13A。此外，与简单地执行运动控制A相比，可以执行考虑延迟时间的控制，因为使用在经过延迟时间td之后获得的运动图像帧进行校正。注意，在向运动目的地Q的运动中要进行的校正可以根据例如延迟时间td而变化。或者，如果延迟时间td可以被认为是足够小的量，则可以将这样的校正值设置为0，从而允许由操作者P做出的指示直接由远程存在的机器人TR执行。

具体而言，将描述当获取如图6(a)中所示的运动图像帧F1时，操作者P按下运动指示单元12的向前运动指示按钮12a(指示向前运动)的情况下的操作。

当相机20获取运动图像帧F1时，远程存在的机器人TR将运动图像帧F1发送到运动图像显示单元11(步骤S101)。

基于接收到的运动图像帧F1，操作者P按下运动指示单元12的向前运动指示按钮12a，以便执行操作来直接向前运动(步骤S102)。

接收单元22接收向前运动指令按钮12a的这种按压作为操作指示(步骤S103)。

当在接收单元22接收到这样的操作指示时，运动目的地预测单元31根据在运动指示单元12中按下的按钮来预测操作者P想要移动远程存在的机器人TR的方向(步骤S104)。对于在接收到操作指示时由相机20获取的运动图像帧F13，如图6(b)所示，运动目的地预测单元31基于例如通过图像识别预先设置或区分的可行进路径41和路径外的区域42来预测运动目的地Q在沿路径41的方向中与前方相对应的方向上(步骤S105)，路径外的区域42是不可行进的外部区域。

此时，尽管按下的是向前运动指示按钮12a，但是路径41实际上在左前方向上逐渐弯曲，如图6(b)所示。因此，自主控制单元32基于运动图像帧F13预测已经由向前运动指示按钮12a指示的向“前方”的运动实际上是向“斜的左前方向”上的运动目的地Q的运动。

此外，一旦预测到运动目的地Q，自主控制单元32就根据路径41的曲率经由自主操作13A控制运动单元21并将其移动到这样的运动目的地Q(步骤S106)。以此方式，自主控制单元32通过基于当接收单元22接收到操作指示时获取的运动图像帧F13进行校正来执行到运动目的地Q的运动。

在此时的自主控制单元32的自主操作13A中，如果远程存在的机器人TR接收到“无”运动指示(没有按钮被按下，或者没有发出新的操作指示)，则远程存在的机器人TR希望继续向预测的运动目的地Q运动(步骤S107)。

如果没有发出新的操作指示，则进一步确定没有发出操作指示的状态是否持续预定的时间量或更长时间(步骤S108)。

在本实施例中，如果在运动到运动目的地Q的过程中，预定时间量内没有接收到操作指示，则自主控制单元32继续向运动目的地Q运动。

以这种方式，即使没有接收到运动指令的情况下，远程存在的机器人TR也继续朝在预定时间量之前获得的运动目的地Q运动。通过即使在发生运动指令的无意中断(例如网络9的瞬时中断)时也继续这样的运动，当网络9恢复时可以继续操作而没有任何故障。

如果操作指示停止了预定的时间量或更长时间(在步骤S108中为“是”)，则远程存在的机器人TR的运动可以停止(步骤S109)。

通过如刚刚描述的在预定时间量或更长时间内没有接收到操作指示时控制远程存在的机器人TR停止，可以在发生网络9的严重断开而不是网络9的瞬时中断时，防止发生诸如碰撞的事故。

此外，为了在步骤S106中根据自主操作13A执行运动时允许操作者P准确地识别运动方向，当运动图像帧F13被发送到运动图像显示单元11时，运动目的地Q和将由自主操作13A跟踪的预测路线可以如图6(b)处的虚点线所示显示。

以这种方式显示预测的运动方向允许操作者P执行操作，同时检查他或她自己做出的运动操作是否被远程存在的机器人TR正确理解，从而进一步有助于提高操作指示的精确度。

在本实施例中，运动目的地Q简单地基于在路径41上来预测。然而，选择在地图信息中描述并通过将室内/室外位置测量信息连接到远程场所中的地图信息而预先定义的多个目的地候选中的任一个的方法例如可用作预测运动目的地Q的方法。或者，可以在远程存在的机器人TR中预先收集学习数据，包括如图6(a)或(b)所示的“捕获的运动图像”，按下的“运动指令”和操作者P实际想要运动到的“位置(目的地)”作为一组学习数据，并且可以通过机器学习使自主控制单元32学习这样的数据。

根据这种机器学习方法，响应于“运动指示”的输入和从“运动图像”获得的环境信息，自主控制单元32可以从在学习数据中输入的各种模式中输出被认为是最优的运动单元21的操作。除了准备学习数据之外，可以通过实际重复操作远程存在的机器人TR，使用由相机20获取的作为环境信息的运动图像数据和操作指示来执行环境学习。

如果在步骤S107中，接收单元22接收到来自操作单元10的不同操作指示，则运动目的地预测单元31和自主控制单元32根据这种操作指示重复执行从步骤S101到步骤S108的操作。因此，远程存在的机器人TR继续被操作。

如果在预定的时间或更长时间内没有接收到新的操作指示，则远程存在的机器人TR停止，如步骤S109所示。

这种自主控制单元32的不同自主操作的示例在图8至10中综合描述，其中示出了运动图像及操作指示的示意图。注意，本实施例中的自主操作13A不限于这样的操作，并且这些操作仅作为示例给出。

图8示出了人43在路径41上作为要避开的障碍物的情况的示意图。

在如图8所示运动图像帧F13中，如果操作者P按下向前运动指示按钮12a，则运动目标预测单元31预测运动图像帧F13中的人43前方的区域是运动目的地Q。因此，即使继续按下向前运动指示按钮12a，远程存在的机器人TR也将在人43前方停止。

如上所述，通过基于运动图像帧F13来识别人43，如果人43存在于远程存在的机器人TR的运动方向上，则自主控制单元32停止运动并执行自主操作以避免与人43的碰撞，该运动图像帧F13指示在接收到操作指示的时刻的运动图像。这种自主操作也可以应用于除了人43之外的任何障碍物存在于路径41上时做出停止确定的情况。

图9示出了由于按下向前运动指示按钮12a而导致的运动方向不清楚的情况的示意图。在如图9所示的运动图像帧F13中，路径41在向前的方向上被中断，并且在末端进行左转或右转的行进方向是不清楚的。在这种运动图像帧F13中，运动目的地预测单元31预测路径41的顶部边缘周围的区域是运动目的地Q，并且自主控制单元32指示运动单元21运动到运动目的地Q，然后停止。

正如刚刚描述的，当更优选的运动方式不清楚时，例如在T字路口处的左转或右转不清楚时，自主控制单元32使远程存在的机器人TR运动到运动目的地Q，然后停止。在这种情况下，自主控制单元32可以被配置为：当向操作者P发送运动图像帧F13时，显示表示需要左转或右转的指示的消息，等待接收“由操作者P做出的运动指示”，并且当接收单元22接收到运动指示B时，开始控制左转或右转。

此外，当发出操作指示B时，自主控制单元32将自主操作26B传递到运动单元21，通过参考在接收单元22处接收到操作指示B的时刻由相机20获取的运动图像帧F26而获得自主操作26B。

图10示出了当远程存在的机器人TR超越可以进行右转的位置44时的自主运动控制的示例的示意图。

图10(a)示出了运动图像帧F1的图像。将讨论这样一种情况，即操作者P在观看显示在运动图像显示单元11上的这种运动图像帧F1的同时检测到可以进行右转的位置44，并且在远程存在的机器人TR超越位置44之后按下运动指示单元12的右转指示按钮12b。

如前所述，在接收单元22接收到右转指示时的运动图像帧F13中，远程存在的机器人TR由于网络9的延迟时间td已经超过了如图10(b)所示的可以进行右转的位置44。

对于图10(a)所示的运动图像帧F1，自主控制单元32预先识别并存储在路径41上可以进行右转的位置。

当在接收单元22处接收到右转指令时，运动目的地预测单元31将向右方向的假设的运动目的地Q设置为运动目的地Q。

如果在自主控制单元32存储了能够进行右转的位置44的存在之后，自主控制单元32在延迟时间td内接收到右转指示，则自主控制单元32确定右转指示表示向能够进行右转的位置44右转，并校正运动目的地Q，以便设置在能够进行右转的位置44处。

更具体地，基于从图10(b)所示的运动图像帧F13知道的两条环境信息，即存在可右转的地点，以及超越可右转地点的事实，自主控制单元32校正运动目的地Q，以设置在路径41上可以右转的地方44，然后选择自主操作13A，以使远程存在机器人TR向后运动对应于向前超越的距离，如图10(c)所示。自主控制单元32还执行自主控制26N，以便在完成向后运动之后按右转指示进行右转。

以此方式，自主控制单元32基于从运动图像帧F13获得的环境信息，自主地校正根据操作指示到运动目的地Q的运动。

通过这种配置，可以减少由于网络的时间差而引起的误操作，同时保持操作者P自己的操作性。

尽管上面已经描述了本发明的优选实施例，但是本发明不限于这样的特定实施例。除非在前面的描述中另有说明，否则在不脱离权利要求书中阐述的本发明的精神的情况下，可以进行各种变化和修改。

在本实施例中，例如，包括由轮子或环形带驱动的运动单元21的机器人已经被描述为远程存在的机器人TR。然而，本发明可应用于具有其它驱动机构的机器人。

本实施例已经描述了这样的情况，其中借助于机器学习进行的控制作为用于由自主控制单元32校正运动目的地Q的方法。然而，只要该方法考虑到在远程存在的机器人TR在接收单元22处接收到运动指示时的周围环境来进行校正，就可以采用任何方法，例如可以采用简单地添加用于延迟时间td的预定校正值。尽管本实施例中的运动目的地预测单元31和自主控制单元32已经被描述为控制单元的每个都具有单独功能的部件，但是本发明不限于这种配置。或者，自主控制单元可以具有预测运动目的地的功能。

在本发明的实施例中描述的有利效果仅仅是从本发明获得的最优选的有利效果的列举。本发明的有利效果不限于在本发明的实施例中描述的那些。

参考符号列表

10操作单元

11运动图像显示单元

12运动指示单元

20运动图像采集单元(相机)

21运动单元

22接收单元

30控制单元

31运动目的地预测单元

32自主控制单元

100控制系统

TR机器人(远程存在的机器人)

P操作者

Q运动目的地

引用列表

专利文献

PTL1日本特开专利公报号2017-102705A

PTL2日本专利号5503052