随着全球数字化进程加速演进,三维重建技术如同一座桥梁,连接着物理世界与虚拟世界的广阔天地。何为三维重建?它是如何将纷繁复杂的现实世界,转化为可漫游、可交互的数字空间?又都在哪些行业和场景中绽放出耀眼的光芒?

什么是三维重建?

从行业视角看三维重建

三维重建(3D Reconstruction)是一种利用计算机技术,从二维图像或其他数据源中生成三维模型的过程。VR需要构建虚拟的数字空间,而三维重建技术正是对空间最完整、最深度信息采集的技术方案。

如视的三维重建探索

如视当下正在做的三维重建,是采集真实的空间深度信息(包括场景中物体的形状、大小以及它们之间的空间位置关系等),结合RGB相机(一种色彩还原度高、能够采集详细光谱信息的彩色相机)采集的图像信息,经由算法融合后构建1:1真实还原的三维模型的结果,如视软硬一体的三维重建解决方案就是在此基础上形成的。

由此得到的三维模型中,会包含丰富的语义信息,我们将之称为潜藏数据。而如视将通过深度学习算法,进一步挖掘采集生成的VR产物,从中获取包括空间结构信息、文字信息、物体信息、材质信息、光照信息等在内的潜藏数据并应用。

与三维重建共生共荣

三维重建是如视的核心技术能力,基于线下采集空间数据,如视通过自动建模、智能空洞填补、全自动数据提取、HDR 优化等三维重建技术将全部数据及图片纹理精准映射到三维模型上,在数字世界还原真实的三维空间。

作为数字空间综合解决方案引领者,如视自诞生起便深耕三维重建领域, 多年来,如视为全行业提供三维空间的采集、重建、展示能力,打造低成本、高效、有针对性的 VR 空间应用解决方案。

如视通过自研,实现了软硬一体的三维重建全流程解决方案。

多样的空间数据采集产品

如视产品矩阵已经完全覆盖了超大、大、中、小,空间、物体全场景的三维重建,能够提供高效、低成本、稳定的空间数据采集方案,满足千行百业的三维重建需求。

强大的算法能力

如视通过强大的算法能力,打造自动化处理全流程,让整个三维重建过程无需任何人工干预,为客户提供高效的三维重建能力。同时,通过如视特有的基于数字空间的AI能力,如视为用户提供自动平面图、空间物体识别等多样性的衍生产物。

丰富的产物数据编辑系统

为满足用户的多元化、个性化需求,如视打造了一套功能丰富强大的编辑系统,让客户可以对产物数据进行加工编辑。

灵活的场景应用解决方案

如视构建了一套跨越多行业、多业态的数字空间综合解决方案,全面响应并赋能千行百业的数字空间应用需求。同时如视也提供了多样灵活的部署方案,全方位支持客户的多元化应用场景。

如何进行三维重建?

三维重建步骤

一般而言,三维重建需要经过图像生成深度图、深度图生成点云、点云处理、网格重建、网格处理、纹理映射等步骤。

图像生成深度图

三维重建的第一步,是从知道每个点到相机的距离开始。而深度图像就是一张特殊的照片,上面每个点的颜色深浅,代表了它在现实中的位置到观察点所在垂直平面的真实距离。

深度图生成点云

点云是空间中代表3D形状或对象的数据点集合,数据集中的每个点代表一组X、Y、Z几何坐标。在这一步中,电脑会根据深度图像中的距离信息画出许多“小点点(点云)”,它们代表了空间内所有3D形状或对象的位置。

点云处理

之后,我们需要对点云数据进行一系列的处理和优化,提高后续三维重建的准确性和效率,如去除点云中的噪声、离群点等无用或干扰数据,提高数据的纯净度和准确性等。

网格重建

网格是点云的一种简化的表达形式,在三维重建中表示多面体形状的顶点与多边形的集合,这些网格通常由三角形、四边形或者其它的简单凸多边形组成。网格重建,就是要把刚才获取的“小点点”连接起来,形成“小面片(网格)”,这些面片(网格)组合起来就像是房间或者物体的外壳,让房间或物体看起来更有立体感。

网格处理

为了进一步提高模型的质量,接下来需要对初步生成的网格模型进行优化和调整,比如去除网格中的尖锐边缘和不平整表面,让模型更加平滑和自然等。

纹理映射

纹理是一张图片,可以根据特征映射贴在网格表面上。通过纹理映射给网格加上纹理后,诸如房间的墙纸、地板的颜色等内容就会显现出来,模型就会变得更加真实。

3D模型

网格和纹理全部组合在一起,就得到了一个完整的三维模型,它将支持我们的随意旋转、放大、缩小等。

如视的创新与优化

如视的三维重建,与一般的三维重建步骤差别不大,但在深度图和点云的生成上有两种方式。

图像生成深度图,深度图转换成点云

人类通过两个眼睛的视差来实现对距离的估算,但事实上我们用单个眼睛也可以大致估算出距离,这是因为我们的大脑已经记住了一些规律,比如近处的遮挡远处、近处的体积看似大于远处等。

利用这一原理,如视通过积累的数百万专业设备扫描的三维数据集,以全景图为输入、深度信息为标注(答案)训练出"单目图像深度估算"Al模型——Cyclops,实现无需深度传感器、仅采集空间图像即可实现三维重建。Cyclops的诞生,推动了如视轻量级和消费级VR采集产品的诞生,让VR 拍摄进入大众的日常生活。

借助累积的百万套真实空间数据,2019年11月Cyclops的推测误差率突破性地达到4.23%,超越了学界水平,随着采集矩阵的完善,到2023年4月,Cyclops算法误差进一步降至1.35%。

传感器(激光扫描仪)直接采集深度图/点云

我们向某物体发射一束光,并通过接收装置测量光线反射或散射回来的时间差,就可以直接计算出物体离我们有多远,得到物体的深度信息。如果再配上一个角度测量装置,测量光线发射的角度,结合已知的距离信息,就能直接得到该物体的空间坐标。而当我们利用传感器,同时向某场景发射无数道光,就能得到场景中各点的空间信息,也就是它们离传感器有多远、具体在哪个角度等,并据此直接绘制出精准的深度图和点云。

这种采集方式在空间数据的精准性、实时性、便捷性、抗干扰性等方面具备显著优势,如视旗下的专业级激光VR扫描仪“伽罗华(Galois)”,就利用了这一原理。伽罗华在采集过程中显示出卓越的环境适应性,并能够精确捕捉空间内的每一处细节,让大空间和超大空间三维重建变得轻松与高效,为专业人士提供无以伦比的便利体验。

三维重建质量影响因素剖析

三维重建的质量受到多种因素的影响,包括深度数据质量、点位拼接、操作规范、语义信息等。

深度数据质量

深度数据是三维重建的基石,其质量直接决定了三维模型的准确性和精细度。

如视目前已有的两款专业级空间采集产品——激光VR扫描仪“伽罗华”和手持实景扫描仪“庞加莱”——都采用激光雷达传感器,其产物质量受传感器精度影响;此外,庞加莱因为采用了SLAM技术(同时定位与地图构建技术,一种通过传感器数据实时估计自身位置并构建环境地图的技术),其质量还与其使用的IMU(惯性测量单元,一种集成了多种惯性传感器的装置,用于测量和跟踪物体的加速度和角速度)、相机等质量有关;而轻量级产品全景相机、Realsee G1智能云台和消费级产品如视VR APP,其产物质量与深度推测质量相关,目前误差为1.35%。

点位拼接

定点式扫描设备点位拼接是利用多点位采集到的彩色图像和深度信息,通过提取特征寻找相似的匹配点位,并计算相对位置和姿态,最终实现多个点位之间的精确拼接,简单来说就是将多个点位采集到的深度数据进行整合。

操作规范

包括扫描密度、手动拼接、特征工具等在内的人工操作规范与否,会极大程度上影响三维重建的产物精度,作业人员需要按照规范操作步骤,合理设置点位进行采集。

语义信息

语义信息是指对三维模型中各元素(如物体、场景等)的识别和标注,在三维重建过程中引入一些标注的或自动识别的语义信息,不仅可以提高模型的语义丰富度,还有助于提高模型的准确性和实用性。

三维重建用在哪里?

三维重建的无限可能

三维重建技术广泛应用于城市规划、影视制作、游戏开发、考古研究、文物保护、医疗影像、虚拟现实(VR)、增强现实(AR)等诸多领域。随着基于深度学习的三维重建方法突破传统界限,开始处理更加复杂的场景重建任务,三维重建技术应用的广度和深度将不断拓展。

如视的三维重建产物

如视的三维重建技术,不仅能够精准捕捉并还原真实世界的每一个细节,还能将这些数据转化为丰富多样的产物,包括全景图、点云、模型等各个格式的导出,以及视频、截图等营销物料的下载,满足不同用户群体的多元应用需求。

以三维重建推动产业进化

如视通过覆盖了超大、大、中、小空间、物体等多行业、全场景的三维重建能力,为企业的线上营销、空间运维、数字化管理等提供有效助力。目前,如视的三维重建技术已经成功渗透并深度服务工业园区、商业零售、文博会展、酒旅餐饮等九大行业,应用范围覆盖营销推广、内部管理、人员引导、模拟培训等诸多场景,引领千行百业的数字化转型。

结尾

三维重建技术作为数字化转型的重要工具,正以前所未有的速度重塑着人类的生活方式。而如视正在以技术创新为驱动,以用户需求为导向,持续加速三维重建技术迭代和产品升级,为千行百业提供更加高效、精准的三维重建解决方案。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

推荐内容