界面新闻记者 | 彭新
这是Luca Verre今年第二次到访中国,他来参加在中国上海举办的世界移动通信大会。他在专访中告诉界面新闻,除了MWC,他这次来中国的行程计划还包括与上海团队的项目跟进、与投资人交流等事宜。
Luca Verre是传感器公司Prophesee的首席执行官,也是这家法国巴黎诞生的初创公司的联合创始人,在一众半导体创业企业中,Prophesee所涉足的视觉传感器,仍是一个外界了解较少的小众赛道,但凭借自身开创的独特技术——“基于事件的传感器”,有望创造新的应用领域。
(资料图片仅供参考)
所谓基于事件的传感器(EVS),其起源于视觉神经的信号模拟,是一种模仿眼睛的感光机制而建立的仿生传感器技术:人眼感受到光线后,视网膜上的受体细胞就会将光信号转换成神经信息,后段的神经细胞再分别挑选出亮部和暗部,经由神经节细胞,将信息传递到大脑的视觉皮层。
EVS则如同人类视觉神经,射入传感器的光线会转换成电气信号。电气信号通过放大器,由比较器根据亮度变化进行分离,形成变亮信号和变暗信号,然后再通过后段的信号处理,以EVS图像数据的形式输出。因此,EVS是一种只对亮度变化敏感并输出图像的视觉传感器。
Luca Verre介绍,事件视觉技术的优势在于捕获动态信息、时间信息,这些信息可以很好地和CMOS RGB 传感器的信息实现互补,或是和ToF 或者激光雷达收集的3D 信息互补。这种传感器模式的组合可以形成更具价值的解决方案。
在EVS的制造上,主要是在索尼帮助下完成的,生产出的EVS传感器成品提供给客户,目前在索尼半导体部门的官网上,已经有两款EVS传感器对外提供。根据Prophesee介绍,借助索尼生产图形传感器的经验,使得EVS传感器得以大规模量产,实现优秀的拍摄性能并降低成本。
实际上,EVS作为一类新型传感器,更重要的是为其寻找落地场景,据索尼半导体部门的相关研发人员介绍,早期“最大的难题是向客户介绍EVS后,一开始大家都对这款独特的传感器产生了浓厚兴趣,觉得很有趣,但是一旦讨论到它的应用,客户往往不知道要如何使用,因此始终难以进入下一个阶段。”
这也是Luca Verre时常需要思考的问题。
传感器细分赛道专业且庞杂,距大众生活看似较远,但其所应用的一些领域却也和平常人的生活息息相关,如作为手机、汽车等设备“眼睛”摄像头,内藏的图像传感器是核心部件,过去主要以传统CMOS传感器(CIS)为主。根据市场调研公司Counterpoint数据,2022年CIS全球单位出货市场规模为190亿美元。其中,移动手机占据的份额最高,为132亿美元。
给手机装上不一样的“眼睛”,是Prophesee力图在消费市场达到的成绩,并选择了一个手机摄像的常用功能“去模糊(deblur)”作为切入点,其基本原理是EVS传感器配合传统传感器的数据,系统能够将EVS以微秒为单位记录的事件填充到两帧图像的间隙,通过算法提取纯动态信息,从而修复运动模糊。从Prophesee向界面新闻提供的Demo来看,这一功能令人印象深刻。
与高通的合作也将为EVS进入手机市场降低难度,“我们和高通以及其他一些手机OEM厂商合作,将我们的传感器和常规RGB 传感器结合,用于提升手机摄影的图像质量,用于图像去模糊。”Luca Verre称。
EVS传感器以及Prophesee的去模糊算法,与高通的骁龙手机平台整合后,有利于进一步打开市场,“我们跟高通的合作非常具有战略意义。高通是高端旗舰手机应用处理器的市场领导者,我们和高通合作,把Prophesee Metavision传感器和高通骁龙SoC结合,提高手机影像质量,我们也一起向一些手机OEM厂商推广我们的解决方案。”Luca Verre称,强调与高通的合作时一次“长期合作”,并暗示搭载EVS的手机将会很快推出。
除了手机,VR/AR头显也是Luca Verre一直密切关注的产品。北京时间6月6日凌晨,苹果推出第一款XR(混合现实)头戴显示设备Apple Vision Pro和操作系统VisionOS,将在2024年早些时候登陆美国市场,随后扩展至其他国家。Vision Pro内外部生态结合,通过虚拟键盘、眼球追踪、手势控制等新型交互方式落地办公、娱乐等场景,无疑对于传感器的要求也会有不少。
苹果Vision Pro头显引发了对XR话题的广泛关注,尤其是在眼球追踪和手势识别上取得了很好的效果,这被认为是所谓“空间计算”的关键交互技术。
手机和XR都是Prophesee在消费级市场布局的一部分,“有很多XR厂商对我们的事件视觉技术显示出了浓厚兴趣,目前我们也有和一些客户在积极探讨和评估相关的应用场景,”Luca Verre称,苹果的示范效应带来的外界对XR产品的好奇心,也为后来者“打样”,从Prophesee与XR厂商的讨论来看,眼球追踪(eye tracking)、手部追踪或手势控制以及实时定位与地图构建( SLAM) 将是EVS传感器在XR领域发挥用途。
在产品和资本关系上,Prophesee与中国联系紧密,为进一步增强在相关市场的竞争力,Prophesee在2021年7月完成了一笔五千万欧元的C轮融资,投资方包括中国的创新工场、惠友资本、小米及上海韦豪创芯等。
Luca Verre称,中国对Prophesee来说可以说是最具潜力的市场之一,潜在目标行业包括手机、XR、物联网、机器人,以及电动汽车领域等,均显示出了巨大的市场潜力,预计未来这些市场还会持续快速发展。据他介绍Prophesee已经在上海成立办事处,使得公司在中国有了本地团队支持,此外他还计划在香港开设办事处。
“除此之外,我们还在和一些中国投资者进行接洽,准备开展新一轮融资工作。”Luca Verre说。