超酷炫Facebook用深度学习和弱监

导读:现如今,即使可以借助卫星图像和绘制软件,创建精确的道路图也依然是一个费时费力的人力加工过程。许多地区,特别是在发展中国家也仍是空白。为了缩小这一差距,Facebook的人工智能研究人员和工程师们开发了一种新的方法,该方法通过深度学习和弱监督学习,根据商用高分辨率卫星图像来预测道路网络。由此产生的模型为精确程度设定了一个新标准,因为它能够较好地适应道路网络中的地区差异,有效地预测全球范围内的道路。

我们现在正与MapWithAI(一套新的专用道路图编辑服务和工具)分享我们模型的具体细节,并向全球的绘制机构提供数据。MapWithAI包含一个编辑器界面——RapiD,它让道路图专家可以根据自己的需要很方便地查看、校验和调整道路图。

我们使用了MapWithAI系统在Facebook的OpenStreetMap(OSM)中绘制了泰国所有此前未曾绘制过的道路(超过了30万英里),这是一项基于社会机构的工作,旨在创建免费的、可编辑的世界道路图。我们仅仅花了一年半的时间就完成这个项目——这比有个绘图专家的团队手工完成这项任务花费的时间减少一半多。

准确的绘制数据有助于我们更好地为世界各地的人们提供FacebookMarketplace和FacebookLocal等技术产品。MapWithAI与Facebook人工智能的populationdensitymaps项目一样,这些道路图将为灾难响应、城市规划、开发项目和许多其他任务提供资源保障。例如,在年印度喀拉拉邦遭受洪水灾害时,Facebook利用MapWithAI快速地绘制出了该地区的道路图,协助了救灾工作。

要使用RapiD,用户可以在道路图上选择一条道路,在提交给OSM系统之前,可以根据实际需要对其进行进一步的编辑。白线表示现有的OSM道路,紫红线则表示RapiD的预测结果。选用Maxar卫星的图像作为背景。

利用新技术实现更高效、更精确的绘图功能

我们已经在几个方面往前推进绘制道路图的研究。在年的CVPR大会上,我们帮助组织了DeepGlobe卫星挑战赛(DeepGlobeSatelliteChallenge),通过提供数据集和竞赛平台来组织和评估计算机视觉和机器学习的解决方案,推进了卫星图像分析的最高水平。我们还正在开发新的适合遥感问题空间的学习技术和架构,并研究弱监督学习技术,以在全球范围内应用我们的道路绘制工作,还在与绘制团队进行合作,在全球范围内测试这些用于设计比例和构造方面的工具。

道路分割

在从卫星图像中选取道路的过程中,我们利用了最近在使用完全卷积神经网络(FullyConvolutionalNeuralNetworks)进行语义分割,同时结合大规模弱监督学习方面的发展成果。道路检测是语义分割方面的应用,其中道路是前景,图像的其余部分作为背景。如下图所示,过程的输出是一个栅格化的道路图,显示了模型如何预测输入的卫星图像的每个像素是否属于某个道路。对于道路分割,我们使用了D-LinkNet架构的修订版本,它在DeepGlobe卫星道路获取挑战赛(theDeepGlobeSatelliteRoadExtractionChallenge)中获胜。向量化和后处理技术可以获取这些输出并转化为与地理空间数据库(如OSM系统)兼容的道路向量。

左边是分割模型每个像素的预测结果;紫红色意味着像素有更高的概率属于道路。右边:合并的向量化道路与现有的OSM道路(白色),卫星图像由Maxar提供

用弱监督学习模式在全球范围绘制道路图

作为上述泰国道路绘制项目的一部分,我们请一些专家检查并修正人工智能系统识别的道路网络。然后,我们使用这些手动更正的道路图作为模型的训练数据。这个项目绘制了整个泰国的公路网络,因此我们对数据的准确性和完整性充满了信心。我们发现,数据集训练在泰国获得了高精度的验证结果,但在其它地区准确性却急剧下降。由于该项目的目标是能够绘制全球的道路图,因此我们研究了如何使用其它地区增加的OSM数据来训练一个新的模型。

但是,许多其它国家的道路图仍然存在着巨大差距。因此,我们探索了获取高质量的、地理多样性的训练数据的新方法。我们借鉴了以往关于弱监督图像分类和基于OSM数据训练建筑检测模型的工作,尝试将这些弱监督学习的思想从分类转换为语义分割。这项实验需要识别具有足够的、准确的数据覆盖率的区域,然后将OSM数据库的道路向量转换为栅格化的语义分割标签。对于这两个挑战,我们采取了一种直接的方法,即首先生成带有噪音的、不太完美的训练数据。

我们收集了一组像素为x的训练数据,分辨率约为每像素24英寸。我们放弃了道路图上少于25条路的区域,因为我们发现地图上通常只包括一些主要的道路(通常没有可以正确标注较短道路的先例)。对于剩余的区域,我们将道路向量进行栅格化,并使用结果标识作为训练标签。为了达到与DeepGlobe数据集相同的分辨率,我们随机将每个图像的像素剪裁到x,从而生成了能覆盖到70多万平方英里地理范围的大约万个区域,这个结果是DeepGlobe数据集覆盖的约平方英里的区域的0倍。

为了从这些道路向量中创建分割标识,我们只需将每个道路向量栅格化为5个像素。语义分割标签往往是趋向于像素的,但我们用这种探索式的方法所创建的标签却不是这样的。由于道路的宽度和外形各不相同,这些栅格化了的向量无法完全获取这些信息。此外,全球不同地区的道路是根据不同的卫星图像源绘制的,因此并不总与用于训练数据的图像完全一致。

用于OSM道路分割模型的训练数据的地理分布可视化图。由于实验的时候卫星图像是不可用的,因此一些区域并未在图中出现

仅使用在数据收集过程中产生的噪声标签,我们就能够产生与许多DeepGlobe挑战赛参与者不相上下的结果。通过对DeepGlobe挑战数据集中训练数据的微调,我们的模型取得了最好的结果。

比这些微调的结果更值得注意的是,即使只在OSM数据上进行训练,模型在全球范围内运行的结果也非常不错。大多数可用于训练道路分割模型的数据集严重地偏向于特定的区域或发展水平的地区。例如,DeepGlobe道路数据集仅包含来自印度、印度尼西亚和泰国的数据,而SpaceNet道路获取挑战赛(theSpaceNetRoadExtractionChallenge)的数据集仅


转载请注明:http://www.jiaju1314.com/zytd/zytd/17296.html

  • 上一篇文章:
  •   
  • 下一篇文章: 没有了