如今,Niantic Spatial 正利用大量且无与伦比的众包数据——即从全球数亿名宝可梦围棋玩家手机上标出的极为精确的位置标记,以构建一种世界模式——一种引人注目的新技术,将 LLM 的智能技术置于现实环境中。

该公司的最新产品是一种模型,根据几张建筑物或其他地标的快照,可将其定位在几厘米以内的地图位置。该公司希望利用它,帮助机器人在GPS不可靠的地方以更高的精度进行导航。

在对其技术的首次重大测试中,Niantic Spatial刚刚与Coco Robotics合作,后者是一家在美国和欧洲多个城市部署最后一公里配送机器人的初创公司。“每个人都以为增强现实是未来,而增强现实眼镜即将到来,”麦克伦顿说。然后机器人变成了观众。

从皮卡丘到披萨配送

Coco Robotics 在洛杉矶、芝加哥、泽西城、迈阿密和赫尔辛基部署了约1000台飞行大小的机器人,用于携带多达八件超大披萨或四个购物袋。据首席执行官扎克·拉什称,截至目前,这些机器人已交付超过50万件,覆盖了各种天气条件下的数百万英里。

但为了与人类快递员竞争,可可的机器人在人行道上以每小时约五英里的速度行驶,必须尽可能可靠。“我们能完成工作的最好方式就是在我们告诉你要到达时到达,”拉什说。这意味着不会迷失方向。

可可面临的问题是,它无法依赖GPS,因为无线电信号在建筑物上相互干扰,因此在城市中可能较弱。“我们在许多高耸的高层建筑、地下通道和高速公路密集地区进行配送,而这些地方的GPS几乎无法真正发挥作用,”拉什说。

“城市峡谷是世界上GPS最差的地方,”麦克伦登说。如果你观察手机上的那个蓝点,通常会看到它漂移50米,这会让你换一个街区,在街道的不同方向上走不同的方向。这就是“天性空间”的用武之地。

过去几年,Niantic Spatial 一直从《宝可梦GO》和《Ingress》(Niantic 上一款基于手机的增强现实游戏(2013 年推出的)的玩家那里收集的数据,并构建一个视觉定位系统,根据你所看到的内容来告诉你具体位置。“事实证明,让皮卡丘真实地跑来跑去,让可可的机器人安全准确地穿越世界,实际上也是同样的问题,”Niantic Spatial公司首席执行官约翰·汉克表示。

“视觉定位并不是一项非常新颖的技术,”开发数字地图和地理空间分析软件的ESRI公司Konrad Wenzel表示。但很明显,我们现有的摄像头越多,效果就越好。

Niantic Spatial 已将其模型训练在城市环境中拍摄的 300 亿张图像上。尤其是这些图片集中在热点区域——这些地点是尼安蒂奇游戏中重要的地点,玩家被鼓励去参观,例如宝可梦战场。“我们在全球拥有超过一百万个地点,可以准确地找到你,”麦克伦顿说。我们知道你站在几厘米以内的准确度,最重要的是,你正在寻找的地方。

结果是,对于这一百万个地点中的每一个,Niantic Spatial 都拥有成千上万张图像,这些图像或多或少位于同一地点,但从不同角度、不同时间以及不同的天气条件下拍摄。每张图像都带有详细的元数据,可确定手机在拍摄图像时的空间位置,包括手机朝向哪个方向、向上移动、移动速度和方向以及更多方向。

该公司已利用这些数据集训练模型,通过考虑其所在位置来准确预测其所在位置——即使对于那些数百万热点地区以外的地区,图像和位置数据的良好来源也更为稀缺。

除了GPS之外,搭载四台摄像头的可可机器人现在还将使用该模型来判断它们的位置和方向。机器人的摄像头高度偏高,同时指向各个方向,因此其视角与《宝可梦GO》播放器略有不同,但拉什表示,数据的调整很简单。

竞争对手公司也使用视觉定位系统。例如,2014年在爱沙尼亚成立的机器人配送公司Starship Technologies表示,其机器人利用传感器构建周围环境的三维地图,绘制建筑物边缘和路灯的位置。

但拉什认为,Niantic Spatial 的技术将为 Coco 带来优势。他声称,这将使他的机器人能够在餐厅外正确的取货点上定位自己,确保它们不会妨碍任何人,并直接在顾客门外停车,而不是在几步外,这种情况可能是过去发生的。

机器人技术中的寒武纪爆炸

汉克表示,当Niantic Spatial开始研究其视觉定位系统时,其想法是将其应用于增强现实。“如果你戴着增强现实眼镜,并希望世界能锁定在你所在的位置,那么你需要一些方法来做到这一点,”他说。但现在我们看到机器人技术出现了寒武纪的爆炸。

其中一些机器人可能需要与人类共享空间——例如建筑工地和人行道。“如果机器人以一种对人类没有干扰的方式融入到那种环境中,它们就必须具备相似的空间理解水平,”汉克说。我们可以帮助机器人在它们被挤压和碰撞时准确找到它们的位置。

Coco Robotics 的合作是开端。汉克表示,“天安式空间”正在实施的内容,是他所称的活体地图的首批内容:一种超详细的虚拟模拟,模拟世界随着世界的变化而变化。随着来自Coco及其他公司的机器人在全球移动,它们将提供新的地图数据来源,为全球越来越详细的数字复制品提供素材。

但汉克和麦克伦登看待它的方式,地图不仅变得越来越详细,而且越来越多地被机器使用。这改变了地图的用途。地图长期以来一直被用来帮助人们在世界上定位自己。当他们从2D转向3D到4D(例如数字孪生生体等实时模拟)时,基本原理并未改变:地图上的点数对应于空间或时间的点。

然而,机器地图可能需要变得更像指南本,这些信息被人类视为理所当然。像Niantic Spatial和ESRI这样的公司希望添加描述,向机器提供他们实际查看的内容,并将每个对象都标注为其属性列表。“这个时代旨在构建对世界的有用描述,以便机器能够理解,”汉克说。我们掌握的数据对于增进对世界结缔组织运作机制的理解至关重要。

buzz about world models目前关于世界模型的热议很多——而Niantic Spatial深知这一点。LLM 看似无所不知,但在解读和与日常环境互动方面却几乎没有常识。世界模特们致力于解决这个问题。一些公司,如谷歌DeepMind和World Labs,正在开发能够即时生成虚拟幻想世界的模型,training dojos for AI agents这些模型随后可作为人工智能代理的训练道场。

Niantic Spatial 表示,它正从另一个角度来应对这一问题。麦克伦顿说:“我们还没到,但希望能在那儿,把地图制作做得足够远,最终你就能捕捉到一切。”我非常专注于努力重新创造真实世界。