跳出像素内卷,艾迈斯欧司朗:软硬协同开启手机影像显示新范式
在第二十七届中国国际光电博览会(简称:CIOE)上,艾迈斯欧司朗正式发布面向智能手机的影像与显示协同技术方案,作为行业首个实现前后置环境光光谱传感与后置空间感知协同的完整方案,现场艾迈斯欧司朗携手合作伙伴vivo展示了搭载高精度多光谱传感器VUS的原型机,试图打破手机行业影像与显示各自为战的现状,构建从环境感知、影像采集、空间理解到屏幕输出的完整端到端链路,推动智能手机从比拼硬件参数,转向真实还原人眼所见的视觉体验升级。发布会后,艾迈斯欧司朗光学传感产品线全球产品市场负责人 Julia Stübinger 接受媒体采访,拆解这套方案的技术逻辑、软硬件协同路径,同时回应行业热点:当 AI 白平衡算法快速迭代,光谱传感器是否会被算法替代,以及光学传感技术未来的发展方向。
艾迈斯欧司朗光学传感产品线全球产品市场负责人Julia Stübinger发表面向智能手机的影像与显示协同技术方案演讲
打破孤岛:影像与显示协同,需要全产业链分工配合
长久以来,手机行业内部,屏幕团队和影像团队往往是两套独立体系。屏幕团队考核屏幕色彩鲜艳度,影像团队专注拍照成片效果,两者链路割裂。即便硬件参数持续冲高,却经常出现肉眼看到的场景,拍照之后、屏幕回放时色彩、观感发生偏移,很难做到 “所见即所得”。
针对环境光、影像采集、空间理解三类传感信息如何实现系统协同,Julia Stübinger 拆解了整条产业链分工。作为传感器厂商,艾迈斯欧司朗负责底层感知能力的搭建:包含环境光线捕捉、精准色彩解析、配套算法,同时输出传感器布局、多传感器协同校准方案,完成完整色彩感知链路的打通。
传感器采集到照度、色温、光谱、dToF 深度等原始信息之后,并不会直接输出到屏幕和相机,而是交由SoC 芯片厂商。SoC 如同整个系统的信息枢纽,承担 “翻译” 的角色,把传感器采集的物理环境数据,转化为显示、影像处理模块能够识别的信号。最后,手机终端厂商完成个性化风格调校。不同手机品牌对于显示色彩、影像风格有自己的产品定位,在统一的感知底座之上,厂商完成色彩映射、风格化调优,输出最终面向消费者的显示与成像效果。
“传感器端的核心算法由我们完成。”Julia Stübinger 强调,像屏下传感器消除屏幕背光干扰算法、光谱重构算法,都属于传感器侧的核心能力。艾迈斯欧司朗传感器输出的是真实物理世界的基准数据,也就是行业所说的 ground truth(地面真相),给到上游 SoC 和终端厂商,终端可以基于这套客观基准,做属于自己的上层风格处理。
后置多通道光谱传感器采集的环境光谱数据,会直接输入影像 ISP。ISP 影像引擎结合相机图像信号,完成画面处理;而同一套环境感知数据,同时也服务屏幕色温、Gamma 参数调节,实现影像和显示共享同一套环境感知底座,真正做到前后置无缝的端到端视觉体验,而不是影像、显示两套独立感知系统各自工作。
传感器技术路线辨析:为什么多通道光谱传感器精度更占优势
当前消费电子色彩感知领域,存在 RGB 传感器、XYZ 真彩传感器、多通道光谱传感器三类主流方案,很多人对三者的能力边界存在混淆。Julia Stübinger 从底层原理剖析三者的差异。
XYZ 真彩传感器的通道响应对标人眼三刺激值,可以输出标准 CIE 色度坐标,色彩测量基准很准,但通道数量少,存在一个致命短板:无法区分直射光源光,和物体的反射光。当画面大面积被某一物体颜色覆盖,物体反射光会干扰测量结果,传感器会误把反射光当成环境光源,造成判断偏差。
多通道光谱传感器拥有 8‑14 个采集通道,可以重构完整光源光谱曲线。即便受到物体反射光干扰,反射色彩会在光谱曲线上形成突兀特征峰,系统可以通过数据分析过滤干扰,剥离物体反射带来的影响,还原真实环境光源信息。这是多通道光谱对比 XYZ 传感器最核心的优势。
而针对 OLED 全面屏趋势诞生的屏下光谱传感器,又对器件提出三重特殊要求。第 一是超高灵敏度,如今 OLED 屏幕透光率常常低于 1%,传感器要在微弱的穿透光下完成测量;第二需要极快积分时间,利用屏幕刷新黑屏间隙抓取外界环境光,规避屏幕背光泄漏带来的噪声;第三,屏幕本身会改变光谱形态,传感器设计阶段就要把屏幕透过率特性纳入补偿,这是普通后置光谱传感器不需要面对的挑战。
谈及行业对标方案,Julia Stübinger 提到,市面上的光谱摄像头同样是环境光感知的思路,二者理念非常接近。光谱摄像头采用分区像素,依靠有机镀膜实现分光,但是器件通道之间串扰、一致性存在挑战,更多依赖后端计算光学做补偿,同时体积、成本更高。多通道光谱传感器是另一条技术路线,可以用更低成本、更小体积实现环境光源解析,给终端厂商提供差异化选择。
AI 不能取代硬件感知,算法与传感器是共生而非替代
近期相机行业出现新趋势,索尼部分旗舰微单取消独立白平衡传感器,依靠 AI 算法从画面图像中提取色温信息,实现白平衡调节。这引发行业讨论:未来手机是否可以完全依靠摄像头 + AI 算法,取消独立的光谱、环境光传感器?
“AI 不会取代光谱传感器,二者是共生关系。”Julia Stübinger 给出明确判断。AI 擅长海量数据的后端分析处理,但 AI 本身无法获取真实的实时环境物理数据。网络数据库、定位信息,可以给出某一个地点大致的光照、UV 参考数值,但是无法精准感知此时此刻这个会议室、这片海滩的真实光照条件。
摄像头本身就是一颗 RGB 传感器,AI 确实可以从摄像头输出的图像中提取简单色温、照度信息,替代两通道、三通道这类简易环境光传感器。但是摄像头硬件物理特性决定,它无法完成光谱信息采集。光谱信息,例如不同光源光谱构成、频闪特征,必须依靠专用多通道光谱硬件采集,AI 只能在硬件拿到真实光谱数据之后,做后续优化处理,不能凭空推演光谱信息。
摄像头持续抓取图像来解析环境,还会带来功耗代价。而专用光谱传感器可以低功耗持续监测环境光,不需要频繁唤醒 ISP、SoC 处理图像数据流,兼顾功耗与实时感知。
Julia Stübinger 进一步延伸到 AR 智能眼镜赛道。现在不少 AR 眼镜出于功耗、隐私考量,暂时没有搭载摄像头。但从长期趋势看,AR 眼镜要做到虚拟画面和现实环境匹配,实现 “所见即所得”,虚拟投射画面的色温、亮度必须贴合真实外界环境。仅仅依靠 AI 推演环境参数很难实现理想效果,光学传感是刚需。即便摄像头受功耗限制,专用光谱、环境光传感器也会成为 AR 设备的重要配置。
告别参数内卷,系统协同是下一代视觉体验核心
回顾智能手机影像发展历程,过去行业更多比拼像素规格、摄像头硬件参数。但近两年,vivo、华为等厂商纷纷投入定制 ISP,说明通用芯片已经不能满足终端差异化体验,行业竞争重心正在转移。
“现在屏幕团队、影像团队围墙正在被打破。”Julia Stübinger 谈到,消费者心态正在发生改变,国内用户习惯用餐前先拍照分享,大家不再一味追求照片色彩过度艳丽,更加期待照片、屏幕回放效果贴近肉眼真实所见,舒适自然成为新的体验诉求。这就要求打通从感知、成像到显示的全链路,而不是各个模块孤立优化。
艾迈斯欧司朗本次发布的整套方案包含三大核心器件:OLED 屏下光谱颜色传感器TCS3775、八通道后置环境光谱与频闪检测传感器TCS3555,以及 48×32 多区 dToF 传感器 TMF8829。屏下光谱负责前置侧屏幕自适应色彩管理;后置多通道光谱为相机白平衡、抗频闪提供光源数据;dToF 传感器输出多区域深度信息,用于对焦追踪、人像分割、AR 空间重构。三者协同,把环境光谱、照度、色温、频闪、空间深度多维信息完整采集,共同作为系统的感知底座,此次展出的vivo 原型机已经完整演示这套链路的实际效果,在复杂室内光源、强光、暗光场景,实现更稳定的成像与屏幕显示表现。
除智能手机之外,这套光谱传感技术还将向可穿戴设备、AR 眼镜等终端延伸。同时 Julia Stübinger 坦言,光谱重构算法、屏下屏幕噪声消除算法,需要大量工程经验积累,技术壁垒较高。
面向未来,手机体验正在走向 “感知驱动”。影像与显示的上限,不仅仅取决于 ISP 算法、屏幕面板、摄像头硬件,前端对于真实物理世界的光线、空间感知能力,正在成为下一代移动视觉体验的新胜负手。硬件传感器采集客观真实世界数据,AI 做上层体验优化,软硬协同,才是通往真正 “所见即所得” 的可行路径。