构建起无人驾驶的认知地图，包括车辆、交通标识、障碍物行人等构成的可行驶区域的基本属性。同时也包括递归网络所学习得到的关于预注意机制、驾驶意图等高级认知属性。我们把车辆当前状态与交通知识也作为认知地图的一部分。也就是说，在这样一个场景中，根据场景动态的变化来形成时间上的认知地图的一种序列。

　　上面讨论了在认知地图基础上构成的基于认知构建的自主驾驶基本框架。这个基本框架有深度卷积神经网络、LSTM单元等，利用这样一个框架把场景感知与情境计算融合在一起 。

　　如何检测可行驶区域：“共点映射”模型

　　这里展现的方法是我们提出的智能计算前移技术的实现，即，使不同传感器在数据端进行融合处理。

　　这里我们提出一个模型叫“共点映射”，就是把激光雷达数据和图象数据进行融合，因为这里面有一个假设，也就是说，深度的不连续往往发生在图像分割的边缘上，所谓深度不连续区域，就是我们看到物体的正面和侧面显然不是在一个深度上。

　　依据“共点映射”， 把激光雷达的数据经处理投影到二维图像的数据中，这样可以把物体，即前面我们谈到的场景中每一个实体准确的分割出来。我们就可以可靠地找到车的前方哪些是可行驶的区域，哪些是周围的路沿、建筑物、树木等等。

共点映射的计算有三个层次：

第一，数据层面上进行融合；
第二，特征提取；
第三，特征融合。

　　基础性研究：交通情境记忆与认知中的选择性注意

　　这里再简单介绍一下我们在自主驾驶领域开展的一些基础理论研究。这是我们用眼动仪检测人类驾驶员的注意力是怎么转移的，他怎么关注周围场景的，也就是说，要寻找注意力与视觉线索的关系。

　　这是眼动仪给出的驾驶员在驾驶过程中不断关注的点。做了这样一个实验，我们可以看到有一个基本的规律，也就是说在多数情况下特征基本上与目标大小无关，而且注意过程中，它有一个预备性搜索的作用与序列搜索之间的关系，而这种关系是需要一个连续绑定的步骤。

　　这里谈的绑定是什么意思？实际上我们从认知角度来看，人在判断前方目标时，它判断这个区域大小和目标的形状，和看见这个目标的颜色分类，实际上在脑部不同区域实现的。

　　从这个意义上来讲，我们在构建这样一个认知过程时，就需要多个模型对场景特征并行进行描述。

下面再来看一看自主驾驶混合学习网络。

　　先是用人在这个环境中开一遍，训练自主驾驶系统，然后再让这个自主驾驶系统再在这个环境中行驶一遍。这些点是场景中的显著性注视点，左边给出的是它行驶的路径。

　　我们用人开车的情况来训练这个网络，让这个网络能够逐步形成一个拟人驾驶的状态。除了人来训练自主驾驶汽车，我们再来看看用游戏来训练无人驾驶学习网络的情况。

　　这是学习两个小时后，这个车基本上就没有正常行驶过，不断地出交通事故，学习四个小时以后比刚才要好一些了。这是学习六个小时以后。这是学习十个小时以后，这个网络慢慢能够学会驾驶。

上图看到的视频片段是无人机与无人车的协同作业。

中国智能车未来挑战赛历史回顾

　　中国智能车未来挑战赛是2009年开始的。在2008年国家自然科学基金委设立了一个重大研发研究计划，计划的名称是“视听觉信息的认知计算”，在这个计划中我们把无人驾驶平台作为这个重大计划的验证平台。

　　它的目的是把视听觉认知计算的一些模型、一些理论和一些新的方法能够在这个平台上进行验证。也就是说，让实验室一些研究成果走向真实的物理世界。

　　2009年是在西安，当时在一个酒店的小区。2010年依然是在西安，在长安大学的试车场。

　　第一届和第二届比赛的内容和水平是非常简单的。因为那个时候的传感器没有像今天这样丰富，当时的计算机的计算能力还非常低下。第三届我们移师到鄂尔多斯，在鄂尔多斯的挑战赛有城区道路，也有乡村道路。第四届就到了赤峰。在鄂尔多斯和赤峰都是在真实道路上来进行比赛。

　　第五届开始就到了常熟，常熟已经连续举办了四届，这个周末在常熟举办今年的比赛，赛事安排有高架道路和城乡道路上。这一届挑战赛增加了无人车在高架道路上要汇入众多的有人驾驶车辆的交通流中、躲避障碍、通过收费站等，在城乡道路又通过含有障碍的隧道、路遇行人让行、自主泊车等15项考核。

　　实现完全自主的无人驾驶是一个令人兴奋却又望而生畏的艰难挑战。

　　当然，目前自主驾驶的一些技术已经可以为有人驾驶的车提供先进的辅助安全驾驶系统，无人驾驶汽车也可以在一些特定的区域、小区、城市指定的专用道路或者高速公路正常交通车流的情况下实现自主的驾驶。

　　但是我们要让无人车能够进入寻常百姓家，能够非常自如的进入地下车库，也能够停到小街小巷，能够进入非常复杂的十字路口，我们还面临着很艰难的挑战。

　　当前，一些公司和车企都在进行无人驾驶的路试，一些商业行为表现出的前景很诱人，诱人的前景使人容易忽视发展自主驾驶所面临的挑战，也使得社会公众认为具有高智能的无人驾驶很快就能进入寻常百姓家庭。

　　以目前的交通状况和技术水平来看，无人驾驶技术要得到大规模的普及，一方面有待于低成本、高性能的传感技术方面取得突破；另一方面还需要大幅提升无人驾驶的计算能力。因此，我们可能需要十几年甚至更长的时间完善无人驾驶在复杂的城市道路交通环境中的安全性能。

　　在这些挑战的背后，我们需要用什么样的方法、什么样的新模型，的确需要我们加强基础研究。还有，无人车的发展离不开企业，特别是整车制造企业一定要成为自主驾驶技术成果转化落地和创新发展的主体。

　　近年来，我们与广汽研究院在无人驾驶技术领域开始了合作，他们在智能车的改装和平台控制方面走在国内车企的前面。

　　高校、研究院所和企业一定要紧密的合作，毕竟无人车的研发不同于一般的科研协同，不是简单的在实验室或有限的、简单的环境中实现就行了，它必须要到一个真实、复杂、开放、动态，在不可预测的环境中去实现它。

总结

在会后的讨论中，郑南宁教授进一步谈到：

　　真实的交通环境复杂多变，很难预测车辆在行驶过程中会遇到什么样的问题。因此无人车想要投入实际应用，必须在真实的环境下不断测试。

　　我们面临的另一个无法回避的问题是，目前有关交通的法律法规不允许没有牌照的无人车上路测试，我们只能在特定的试验场测试。现行《中华人民共和国公路法》第五十一条规定，机动车制造厂和其他单位不得将公路作为检验机动车制动性能的试车场地。

　　所以，当前在国内公共道路上进行无人驾驶车的测试还是违法的。实验模拟路况和真实路况有很大差距，在对无人驾驶智能车的创新研发上，需要政府和主管部门给予更多政策法规上的支持和提供更加开放的研发环境。比如：能否开放一个指定的区域，给无人驾驶智能车提供临时牌照允许其上路测试？

　　从创新驱动发展的意义上来说，在体制上为新技术的发展提供空间和政策支持，与提供充足的科研经费同等重要。【完】

　　自动驾驶汽车是人工智能和机器学习领域研究者们数十年科研的成果汇聚，郑南宁教授的分享报告便是其中的缩影。尤其是以智能未来车挑战赛为代表的这些参与者、亲历者们，他们这段漫长而丰富的研究过程，值得我们一起重新领略。

　　2018年1月16日，在中国的另一端，雷锋网新智驾将在美国硅谷举办GAIR硅谷智能驾驶峰会，我们也邀请了重磅嘉宾、2005 年 DAPRA 挑战赛冠军斯坦福车队成员，无人驾驶行业萌芽的亲历者 Adrian Kaehler 进行主题演讲。