机器人感知从三维重建的角度进行了研究。本质上，配备摄像头或激光雷达等传感器的机器人系统必须重建环境的 3D 模型才能自主导航。

在本例中，我们讨论的是 SLAM（同时定位和建图），这是一种允许对未知环境进行地图绘制的方法。机器人利用地图信息来执行路线规划、避障等任务。

SLAM 的研究始于 20 世纪 80 年代至 90 年代，多年来取得了巨大进步。这个问题已经得到解决，SPARK 实验室也研究和使用了有效的技术解决方案一段时间。它们是机器人、无人机的基础，也是虚拟和增强现实观众的基础。

因此，多年来人们进行了大量的研究来了解环境的几何形状，以确保机器人能够四处移动并避开障碍物。

然而，近年来人们认识到（机器人和其他人的）空间感知比几何问题复杂得多。

机器人的空间感知——麻省理工学院模拟

这在实践中意味着什么？

我们人类不仅了解障碍的存在，而且当我们环顾四周时，我们能够赋予周围一切以意义。在实践中，我们发现自己面前的东西不仅被解释为空旷的空间或被障碍物占据，而且我们很好地理解语义，即物体的含义，即使是以非常复杂的方式。例如，我们了解我们周围人和物体的存在，我们在一个房间里，并且它是建筑物的一部分，因此我们形成了静态和动态事物的非常复杂的表示。空间感知是一个过程，从感官数据开始，我们可以为我们脑海中清晰的周围现实建立一个非常复杂的模型。过去十年中最有趣的元素也得益于人工智能的进步，其表现是语义部分变得更加容易理解。

在人工智能出现之前，解决识别和识别物体等任务非常复杂。现在，深度学习模型使我们能够识别图像中的像素并将其与某些对象进行匹配。

我们与 Kimera-Multi 合作的目的是将语义部分提升到一个新的水平。为此，我们继续构建包含几何和语义部分的3D 地图。这使得机器人可以在未知环境中移动，无需 GPS 和任何绝对参考，仅使用从摄像机和惯性传感器获得的传感数据，进行推理并能够构建包含几何图形的三维模型。和语义信息。因此，机器人也可以通过这个接口了解物体的类型。

那么，今天的机器人系统能否更好地了解它们所在的位置以及它们周围的事物？

没错。新颖的元素使机器人具有更高层次的理解：因此，它们理解场景的语义方面、完成高级任务的关键要素，包括导航和对象搜索、与人类的交互等等。我们现在开发了一个系统，多个机器人可以在该系统中相互通信以创建统一的地图，目标它们拥有共享的环境表示，以便协调开展行动。

然而，这个问题非常复杂。机器人以分布式方式收集数据这一事实给建立单一模型带来了困难。例如，如果我们考虑十个地理位置相距很远的机器人，它们会以分布式方式收集大量数据，但很难交换数据。我们研究的主要目标之一是设计分布式协议，让机器人继续交换最少量的信息，试图就如何构建地图及其轨迹达成共识。简而言之，两个机器人不是互相发送各自相机收集的所有图像，而是每次看到对方时交换彼此在参考系统中的位置估计，从而改进彼此的地图。因此，在此过程中，可以收敛到所有系统都一致的共同估计。这是这项工作的主要贡献之一。

还有其他值得注意的方面吗？

是的，另一个重要贡献涉及此类系统的稳健性问题。在实验室进行演示是一回事，开发一个如此可靠的水平仪以允许您在非常复杂的外部环境中管理多个机器人则是另一回事。此时机器人的空间感知与人类相差甚远。特别是，我们希望在这些地图系统中，机器人始终能够识别它是否正在访问它已经知道的地方。如果该区域已经被访问过，机器人必须能够识别该位置，并且该信息对于改进其地图非常有用。此外，机器人还必须识别它们是否正在查看另一个机器人已经访问过的地图部分。

困难在于地点识别算法非常不精确，并且这些算法产生的不正确结果会导致严重错误重建地图。我们已经证明，可以以分布式方式实现我的研究小组过去开发的特定鲁棒估计算法。通过这种方式，尽管地点识别算法中可能存在错误，但仍可以交换估计和测量结果，以形成正确且共享的地图。

机器人的空间感知应用了哪些人工智能技术？

在这项工作中，人工智能主要进入语义部分。深度学习算法用于根据不同语义类别对图像中的像素进行分类。然后，每个像素被分类为某个对象并具有相关的语义，并为创建三维地图提供有价值的信息。不仅如此：借助该系统，可以确保在多个图像中多次观察地图的同一部分。这使我们能够减少人工智能系统中可能错误地对某些像素进行分类的错误。

在研究方面，该领域有哪些承诺？您现在和未来几个月正在做什么？

有很多人致力于多机器人系统和感知。前者尤其在更大的机器人技术中构成了一个社区，并在多个方面进行操作，意识到这种类型的系统在许多情况下更加高效。例如，我想到的是搜索和救援行动，即在灾难性事件后搜寻幸存者，如果可以的话，成功的可能性会更高依靠更多的机器人。但在其他领域，依靠多机器人系统可以获得更好的结果。

谈到接下来的发展，我们需要回到人类的空间感知：它不仅超越几何，而且超越物体。作为人类，我们对现实不仅有一个非常复杂而且有层次的概念，以便非常有效地计划我们的行动。让我们想想当我们计划旅行时：我们在多个层面上建立了几个步骤，通过机场、车辆和城市来计划旅行。我们正在尝试复制这种理解水平，让机器人制定环境的分层抽象，并尝试使用这种表示来加快决策速度。在这方面，我们提出了“3D场景图”的想法，其中定义图来插入不同级别的抽象环境并捕获有关场景中不同对象或不同实体之间关系的信息。这些模型使您能够推理不同对象之间或不同人之间的关系——这是执行高级任务的一个重要方面。

我们正在研究更复杂的表示，并试图了解如何在具有一个或多个机器人的系统中构建这些表示。此外，我们正在尝试将它们开发为其他人工智能模型的输入，例如支撑决策的强化学习。我们希望了解如何使用人工智能算法提供这种感知表示，以便机器人能够更有效地做出决策。此外，我们正在努力通过使用几何来解决人工智能算法的一个基本问题，即需要拥有非常大的注释数据集，这是人工智能图像理解的基础。

人工智能算法的有效性取决于大量数据集的可用性。我们知道，在许多机器人领域，没有如此大的数据集。因此，我们打算重点关注自我监督的可能性，即开发无需人工监督即可运行的系统，无需注释即可收集数据。大型语言模型，例如 ChatGPT，以这种方式工作，即以无监督的方式工作，因此它们可以从互联网上的文本中学习，而无需很多注释。这是我们在机器人技术领域需要努力的前沿领域。未来我们必须拥有能够观察现实并通过推理来自行理解并做出决策的机器人，而无需人类操作员的频繁干预。

您对机器人空间感知的研究和研究未来的应用和好处是什么？

搜索和救援是一个非常重要的应用：让我们考虑一下在受地震或其他灾难性事件影响的地区派遣机器人进行救援行动、为团队或独立提供帮助的机会。在 DARPA（美国国防高级研究计划局）最近发起的机器人系统竞赛中，重点是地下研究。人们对开发地下环境中绘图的能力非常感兴趣，因为地下环境对人类来说非常困难且风险很大。除此之外，这种环境在很多方面都与其他行星上的外星探索非常相似。

另一个令人感兴趣的背景是工业和物流领域，同样是关于机器人的空间感知：今天亚马逊已经在使用机器人在其仓库中，地面上有虚拟向导移动。未来，依靠能够在不同环境中自主移动、与人类一起操作的机器人将会非常有趣。最后，空间感知的研究将使智能交通系统领域发生重大发展。例如，我正在考虑自动驾驶汽车，甚至卡车能够相互通信，以便以更有效和更有效的方式移动。协作方式，大大提高安全水平。