截屏 ALI TOHIDI 视频 - 演示视频展示了合成视觉数据生成器如何从合成建筑工地捕捉无限图像。

加拿大多伦多大学的一位研究人员称，机器人技术在建筑工地上的应用未能发挥其潜力，该校应用科学与工程学院的助理教授Kim说，随着更多的研究，高阶全自主移动机器人可能离实现更近一步。目前大多数在建筑工地上巡逻的所谓机器人应该更准确地称为重复一些预先编程的任务的工具。

撇开一些成功的案例不谈，现在缺少的是完全的机器人自动化和数字化，使用人类水平的视觉人工智能（AI）来充分了解它们被部署的建筑工地。

为了达到高水平的视觉人工智能，为工地上的机器人提供动力，需要数以百万计的图像，但由于各种原因，获得这个数字是不现实的。金和他的团队所提出的是两项新技术：合成虚拟建筑图像，以及生成微型规模的建筑图像。

Kim说："在我们开发新形式的建筑机器人时，硬件部分已经取得了很大的进步，例如波士顿动力公司的Spot，但软件开发，即人工智能部分，仍有很长的路要走。问题是，我们缺乏建筑场景的训练数据。DNN，深度神经网络，视觉人工智能的核心引擎，是一个有监督的模型，它自然会变得对数据贪婪。为了开发一个训练有素的人工智能......我们需要数量巨大的、多样化的建筑场景的训练图像。"

Kim的研究项目是251项大学倡议之一，这些倡议在9月被宣布为加拿大创新基金会的约翰-R-埃文斯领导人基金提供的总计6400万美元资金的接受者。

他提交给创新中心的项目摘要指出："具有增强型人工智能的机器人解决方案将与现场工人安全协作，提高生产力和盈利能力，同时抵消日益严重的劳动力短缺问题。拟议的研究项目对实现这一愿景至关重要，提供优化的现场适用的DNN模型--这是自主建筑机器人发展的下一个关键步骤。"

机器人将收集、分析和记录现场信息，允许创建正在进行的施工现场的实时数字孪生模型。Kim解释说，合成将被开发成视觉AI的图像是需要的，首先是因为很难亲自收集数据。

监控摄像机和无人机有遮挡物，成本很高--Kim提到每张图像2到10美元--而且还存在其他问题。收集一百万张图像会很耗时，而且还有各种有问题的法规和保密问题。在竞争激烈的建筑环境中，数据的商业化和共享是其他问题。Kim的多大实验室的工作正在迅速进行，该团队使用五个张量处理单元和谷歌云软件。更多的计算资源是需要的。

ALI TOHIDI 视频——多伦多大学助理教授 Daeho Kim 说，为了开发训练有素的人工智能，研究人员需要大量多样化的建筑场景训练图像。

他说：“我们完全专注于开发一款可以自动合成非真实但看起来真实的建筑图像的模拟软件，几周前，我们开始积极生成一百万张建筑训练图像。这对我来说是个激动人心的消息，因为据我所知，我们以前从未有机会在构造 DNN 训练中使用一百万张训练图像。”

合成的步骤包括创建 3D 人体模型，然后输入工人的动作捕捉数据；通过将 2D 或 3D 服装图映射到 3D 人体模型来创建 3D 建筑工人头像；随机设置成像条件，包括相机距离和照明条件；通过将虚拟建筑工人头像叠加到3D施工背景上，合成生成施工图像或视频。

随后是用于构建数字孪生的完全自主移动机器人的原型设计，该机器人部署了高阶 DNN 模型。建筑机器人需要能够监控和分析位置、移动速度和方向、姿势、距离和其他捕捉建筑工人存在的因素。

KIM说：“对于高度动态和非结构化的建筑场景，合成图像在训练视觉 AI 模型方面的效果尚不清楚。我们可能需要也可能不需要我们自己独特的解决方案。”

对于最后一步，Kim 将需要私营部门的合作伙伴——他正在寻找一家能够在财政上支持这项研究的创新建筑公司。