业界亟需的一个重要角色便是可以将整个3D ToF产业链条打通的全栈解决方案商。
汽车的智能化进程,往往牵一发而动全身。
第四代高通数字座舱平台(8295,全球第一款5nm汽车级座舱SoC芯片)的投产上车即将为智能座舱带来更多的性能冗余。芯片性能大幅进阶,自然会抬高用户对于座舱体验的期待。
关于“五感”的功能升级则是主机厂迭代座舱功能的不二之选,并且这一升级更聚焦到人车交互之上,而非只停留在智能调节灯光、调整座椅舒适度等浅层应用。更智能的人车交互,需要汽车具备更高维度的机器视觉能力。
全球范围内已有一些企业开始推出3D 视觉相关车规级方案,比如Melexis于2015年便开始进行车规级ToF芯片的上车量产,用于驾驶员手势控制操作。近日刚发布的理想L9采用ToF立体3D摄像头,打破了传统智能座舱互动的空间限制。
在这场智能座舱向3D化升级的浪潮中,3D ToF技术如何量产上车,成为了备受主机厂关注的焦点。
我们一起来聊聊3D ToF的那些事。
ToF的历史
理想L9的手势交互,让3D ToF小火了一把不假,就像苹果2020年在iPhone12系列上首度使用LiDAR(dToF)一样。如若追溯车内应用ToF的历史,大概要从2015年讲起。
如今从宝马7系、奔驰S级、福特EVOS、大众ID.6X,到国内的奇瑞5X、小鹏G3和长安UNI-K等,都在车内用上了隔空手势交互。大部分操作仅限中控区,可以接/拒电话、调节音量、开始/结束导航,一些车型还能通过手势控制天窗、遮阳帘、座舱照明等。
看似用处颇丰,实则不少槽点。尤其在准确性和一致性(和规范的预设手势对比)上,车内手势交互远远没有达到理想状态,在语音助手面前也只能算是小弟。
相比于被动式的双目视觉识别,目前用于手势识别的技术路线有ToF、结构光和毫米波雷达三大类,光学和雷达方案之间似乎永远横亘着一道世纪选择题。
结构光由于分辨率和精度较高,被广泛用于手机前置摄像头的人脸识别;毫米波雷达作为激光雷达的补充,对于实现自动驾驶来说必不可少,其同时也在加速手势感应的应用。
而ToF(Time of Flight)作为智能机器人的避障部件,已成为车上流行的手势交互选项。相比结构光,ToF由于已知光的速度和飞行时间,在形成3D图像时所需的软件算法更简单,响应速度也更快;和毫米波雷达比较,ToF识别的准确性更高。
即便如此,ToF面前,一面是性能争议,一面是量产上车难。
国内某CMOS图像传感器芯片(ToF采用CIS作为受光单元)供应商就对笔者表示,ToF的解决方案并没有完全成熟。尤其识别能力更出色的dToF,在车上仍存在延迟高、分辨率低等问题。
如果仅作为手势识别,ToF对分辨率的要求可能没有很高,但通常ToF需要获取多张图像,来还原深度信息,时延约40~50毫秒,这导致其更多应用于不涉及车辆安全的功能。
应用场景的局限,让ToF显得过于鸡肋。更重要的是,ToF硬件成本相对较高,底层的成像芯片对技术要求更高,主要由安森美、豪威和索尼等外商提供。因而ToF价格仍处在“由量制约”的阶段。
关键在于,车内手势交互还差一个“刚需”应用,让ToF大展拳脚,进而快速渗透。这在手机端同样是一个问题,苹果、华为早早面向用户提供了手势交互,但结果相当不尽如人意。
站在消费者的角度,行业建立一个统一标准显得迫在眉睫,毕竟手势千千万,不能都学会;品牌那么多,相同手势对应的功能若乱套,换个座驾很容易造成不便。
正如所有新技术一样,若挤掉泡沫还有剩余价值,就可继续成长。在那之前,ToF必须在车上找准自己的定位,不是可有可无的存在,而要不可取代。
为什么是3D ToF?
3D ToF是一种无扫描光探测和测距技术(调制光源主动照射物体),基于持续的光脉冲,从特定指向场景捕捉深度信息(通常在1~2米内的短距离)。
该技术路线以独特方式结合高分辨率深度和幅度(灰度)映射,可满足许多内部传感应用的需求。根据3D深度差异进行分类,无需前景和背景之间存在颜色或灰度对比,即可在许多复杂的应用中识别人和物体。ToF摄像头可同时提供两个输出。第一个是深度图像视频流,输出深度图或点云,再通过应用算法进行处理。第二个是代表反射信号强度的幅度图像,又称置信度图像,近红外2D视频流,并且不受日光影响。
此前,大部分用于检测驾驶员疲劳的驾驶员监测系统 (DMS)均采用成本较低的传统2D红外摄像头(配合IR红外LED),导致大量信息的缺失。
相比之下,3D摄像头立体成像能够识别视野内空间每个点位的三维座标信息,从而使得计算机得到空间的3D数据并能够复原完整的三维图像。
图注:3D ToF手势交互效果演示。
按照分类,3D立体成像主要分为结构光、ToF和双目视觉三种技术路线。
据奥锐达副总经理陈挚博士介绍,被动式双目视觉受环境光影响较大,适用于中、远距的户外场景。结构光和ToF都是主动光源成像,适合室内外中短距离高精度测量。采用主动光源的3D成像方法抗环境光干扰能力更强,输出深度精度高,探测数据准确。但是在汽车上使用,ToF相机的结构更简单,相较于其他3D技术,ToF在车上可靠性更高,车规器件更加成熟。
可以说,3D ToF是目前最适用于座舱视觉感知交互的技术。
实际上,基于ToF的3D摄像头感知系统早在2015年前后便已应用于宝马、奔驰等品牌车的豪华版配置中,主要用于舱内手势交互功能。但彼时的系统QVGA分辨率较低(320x240像素),且视场角较窄,无法提供足够好的体验。
而随着近几年国内外厂商对于技术的不断打磨,3D ToF相关产业链开始逐渐完善,并且即将迎来爆发期,这来自天时、地利、人和的共同加持。
被产业链呼唤的“C位”
3D ToF上车,必然离不开产业链中关键角色的出现。
“虽然几乎所有的主机厂都已将目光聚焦于3D ToF技术,但在与客户的交流中,我们最大的感受就是该技术对于车厂而言依然很陌生,大家并不清楚它究竟是怎样的技术、可以做什么?以及如果想要将其安装到座舱内的话,车厂需要打通哪些技术栈?需要供应商之间如何配合?所以目前国内的车载ToF技术距离成熟的商业应用依然有很大的发展空间。”陈挚博士介绍。
3D ToF的产业链长且复杂,其中包含ToF芯片、摄像头模组、软件算法、智能座舱域控制器等环节。同时,由于新生事物的天然属性,各个厂家对于 ToF的功能定义也都迥然不同。
“一切都未形成标准化,因此当前主机厂要实现ToF落地就必须调研每个环节,这对车厂自身的研发能力、知识体系都提出了很高的要求。”陈挚博士表示。
可以看出,业界亟需的一个重要角色便是可以将整个3D ToF产业链条打通的全栈解决方案商。
另一方面,行业客户的能力千差万别也决定了解决方案商必备的灵活特性。
例如,多数行业客户都集中在产品应用和场景定义,需要产业上游提供完整的产品方案。
一部分客户拥有一定的 3D 视觉系统定义能力和开发能力,需要提供与之匹配的关键系统模块,如相机机头模块,深度引擎算法算力平台。
还有极少数玩家拥有较强的座舱底层系统设计开发能力,这就需要方案商为其提供高度定制化的产品方案,满足其产品定义,并实现专业价值。
据陈挚博士介绍,奥锐达所提供的的iToF解决方案具备系统设计、sensor选型和应用、深度引擎算法移植、量产标定等要素,可以满足客户的各种定制需求。
其中,车规级系统方案设计能力包括关键器件的设计和选型参考、光学系统和模组效果的仿真和评估、iToF深度引擎的调优、与高通主机平台的联调和适配等,奥锐达可以协助车厂设计出具有差异化的ToF产品方案,赋能主机厂实现ToF项目的量产落地。
图注:可助力车企进行车规级3D ToF系统方案设计
据了解,奥锐达为智能汽车量身定制的3D ToF智能座舱方案将于今年9月发布,ToF技术上车进程有望加速。
该自研方案采用车载ToF领域量产经验最为丰富的传感器芯片厂商Melexis的产品,并且在高通8155平台上实现VGA大分辨率30fps的高帧频高精度的3D效果。奥锐达与行业一流的车规模组厂合作设计的模组“身型”小巧,可以灵活匹配到各种车内安装位置上,实现包括3D DMS、金融安全级人脸识别、Face ID和3D空间手势交互等功能。
尾声
现阶段,智能感知技术正在往商用落地方向不断迈进,自然的人机互动、个性化的智能驾驶服务等已经成为各主机厂、新造车势力打造核心差异化的重要手段。在这其中,如何让智能汽车的“眼睛”看得更清,优质的软件算法、强大的算力,同样都是不可或缺的。
如此一来,车载软件算法成了市场热门,在智能汽车行业,3D视觉感知技术的应用虽刚起步,但边界远不可限量。
来源:高工智能汽车,AutoLab,掌上谈车