数字化观察网 - 信息化观察网 - 引领行业改革
菜单导航

机器人学习(Robot Learning)的发展

作者: 数字化观察网 发布时间: 2021年04月24日 23:40:55

5月16号,OpenAI发了一篇Blog介绍他们最新的机器人进展:Robots that Learn (https://blog.openai.com/robots-that-learn/)

他们的机器人已经可以只看一眼人类的行为就能模仿,虽然说他们的堆积木问题还相对比较简单,但是这效果还是让人兴奋不已。回到2015年,我们能想到机器人学习(Robot Learning)可以发展到这种程度吗?老实说我非常惊讶,完全超出了想象。深度学习的发展实在是太快了,每天都在发生变化。记得两个月前,几乎每周出一篇蛮不错的GAN论文,让人感叹看论文都看不过来(当然,对于有些大神来说,竟毫无压力)。

回到机器人学习这个话题上,在这个领域做出最重要贡献的是加州伯克利大学的Pieter Abbeel和Sergey Levine团队,几乎可以说他们以一个团队之力开拓了机器人学习这个领域,确实是太厉害了。而现在,可以肯定的是机器人学习会成为接下来深度学习最重要的研究方向之一,会有越来越多的人投入进来。

因此,今天这篇blog我想从头梳理一下机器人学习这两年发展过程中出现的一些有影响力的paper。然而由于个人能力有限,必有疏漏,还请知乎里的大神们批评指正。

1

Robot Learning到底指什么?

我发现不同人对Robot Learning的理解是不一样的。比如做NLP的朋友认为ChatBot也是机器人,因此Robot Learning也应该包含NLP。我觉得这样看也没错,只是我们这里关注的Robot Learning就是面对Robot这种实体机器人本身。Robot Learning想要解决的核心问题是让机器人能够自己学会执行各种决策控制任务,比如叠衣服,拿东西,开门之类的问题。对于这类问题,更多的需要对机器人进行底层的连续控制,而不是最顶层的决策。可以认为开门本身就是一个决策指令。

展开全文

其实我们都知道机器人涵盖的范围很广,对机器人智能的描述更是很难界定。实际上计算机视觉、语音识别、NLP、机器人控制这些都是机器人智能的一个分支,最终都会集成到机器人身上。

那么现在的情况就是计算机视觉和语音识别这种感知任务通过深度学习已经解决得不错了,但是NLP和机器人控制这两部分还差的有点远。而要让机器人能够走进千家万户,必须首先能够解决机器人动的问题,能够不需要编程就能让机器人自己移动,完成各种设定的基本任务,具有一定的通用性。在这个实现的基础上,再进一步考虑机器人的顶层智能问题,也就是NLP需要研究的,让机器人具有情感。从总的趋势看,短期低端的NLP会较快取得突破,比如购物机器人、咨询机器人之类,虽然还是通过不了图灵测试,但是却能满足需求,能够实际应用;中期需要Robot Learning的突破,使得真正的实体机器人能够落地;远期才是NLP与Robot Learning的结合,达到从顶层思辨情绪到底层行为的高度智能。

再回到Robot Learning,我们这里显然主要关注Deep Learning在Robot Learning上的使用。我们希望用一个端到端的神经网络就能实现机器人的控制,输入看到的图像,输出机器人各个关节的电机控制。以前的机器人都是人工编程,固定程序,这显然是行不通的,而Deep Learning则非常有希望让机器人真正牛逼起来,去适应不同的环境,学习掌握不同的技能。

所以最后注明一下:Robot Learning这个概念或许很早,或许有多种含义,但我们这里Robot Learning专指基于Deep Learning面向解决机器人实际决策与控制任务的一个小方向。

2

Robot Learning的发展路径

Robot Learning从目前来看,经过了以下研究思路的发展:

利用传统的控制算法结合深度学习来实现机器人端到端的控制。这个方法主要是以Guided Policy Search(GPS)为首。这个方法是Sergey Levine提出的,通过与传统方法结合,确实可以让机器人学习出一些有意思的技能,但是有个根本问题摆在面前,就是传统方法通常需要知道整个系统的模型,而这在实际的机器人中非常难以适用。就比如四轴飞行器的控制,我们可以通过外部的Vicon设备来精确的定位四轴飞行器的位置,从而实现对其精确控制,但是在户外,我们根本就做不到这点,也就无法精确建模。因此,还依赖传统方法是没有出路的,我们使用深度学习就是要抛弃传统方法的弊端。

热门标签