全新一代旗舰移动平台骁龙865已经正式发布,预计2020年第一季度就可以看到搭载该平台的产品上市。从官方公布的数据以及随后披露出的性能测试数据来看,骁龙865无疑还是安卓阵营标杆产品。骁龙865安兔兔跑分达56万,但这对于骁龙8系平台来说,只是常规操作,我们已经习以为常。而其不断增强的AI性能,以及广泛的AI用例似乎更有看点。
先来回顾一下骁龙865 AI方面数据。由CPU、GPU、DSP、内存、缓存等模块共同组成的第五代AI Engine,运算能力达15万亿次/秒(TOPS),是骁龙855的2倍多,是骁龙845的5倍。
其中,作为AI Engine核心的Hexagon 698处理器,引入了全新升级的Hexagon张量加速器,算力是上代的4倍以上,能效提升35%。同时支持深度学习带宽压缩,无损压缩率超50%,可为SoC其它部分释放带宽,节省内存传输而节省功耗。Adreno 650部分支持16位、32位浮点运算,支持新的AI混合精度指令,算力提升2倍以上。另外,LPDDR5内存将带宽增加30%,有助于优化AI处理。
骁龙865整体AI性能提升非常明显,那么这么强大的AI算力能够做什么,也是我们关心的。在骁龙技术峰会上,高通展示了丰富的AI用例。AI已经并将持续改善我们的终端使用体验。
1、实时互译+实时语音转文字/语音
基于强大的AI算力,骁龙865可以为基于AI的实时翻译提供支持。在骁龙技术峰会现场,演示了实时的演讲语音英中互译,且实时转文字。转换的正确率、效率都达到了很高的水准。演示结束,现场观众无不发出惊叹。如此高的互译速度和效率在移动终端平台上应该尚属首次。对于媒体工作者来说,尤其适用,将大大提高工作效率,减少不必要的麻烦。可能未来在大型的会议现场,不再需要速记,不再需要中英同传,这些都可以依靠AI来实现。
关于实时翻译的另外一个场景,出国的时候相信大家都一定遇到过语言不通的尴尬。虽然我们也从小开始就学习英语,但熟练掌握并运用的其实并不多。上述的演示意味着,未来手机上实时语音互译不是问题。需要强调的是,不同于常规的翻译棒产品(需要录入声音再翻译),这一互译是“实时”的。以后我们在国外与当地人交流的时候应该是这样的:对向而坐,手机放桌上,你一言我一语。他说英语你听到的是中文,你说中文他听到的是英语,好像用同种语言交流一样顺畅。没有等待,没有任何障碍。相比翻译棒,这种体验可高级太多了。
Vlog视频博客的兴起,极大改变了用户获取信息的方式,更多用户偏向于用Vlog的形式分享生活、分享各种信息。而在视频处理中,添加字幕一直都是最耗费时间和精力的步骤,尤其是视频剪辑工作者对此应该深有体会。
在骁龙技术峰会之后,首发骁龙765G移动平台的Redmi K30正式发布。其中,Redmi带来了一项颇为惹眼的功能:视频实时字幕。即用户在录制视频的时候,可以将用户所说的话实时生成字幕,并添加到视频中。它极大简化了视频剪辑后期的处理时间,优化了效率,让大众用户也能成为专业的Vlog创作者。而这一功能的实现自然也是依托于不断提升的终端AI算力。
2、手机多摄镜头平滑变焦
多摄已经成为手机相机的主流,其主要作用是用不同的镜头应对不同的拍摄场景,以实现更好的拍摄效果。另外一大作用就是通过不同焦段的镜头组合实现接力变焦,但现在大多数安卓手机上的变焦体验并不是很好,变焦体验饱受诟病。原因在于镜头切换时因镜头素质的差异,会造成白平衡、色彩等观感的跳变,非常不顺滑。
在骁龙技术峰会上,高通展示了与虹软合作,通过虹软全新算法可实现媲美单反相机的平滑自然变焦体验。AI应用于拍照优化很早之前就有了,平滑变焦应该是拍照优化的又一个延伸。通过大量的实时AI计算,使各个镜头呈现的画面观感达到惊人的一致,最大程度上消除镜头切换时的跳变,让变焦变平滑。
3、更好玩、更有趣
骁龙技术峰会上,Qualcomm Technologies产品管理副总裁Ziad Asghar展示了LoomieTalk,该应用程序重点展现了在Qualcomm骁龙865移动平台之第五代AI Engine 人工智能引擎上运行时,利用Qualcomm骁龙神经处理SDK后,Loom.ai实时SDK创建的3D虚拟形象极富表现力。这些虚拟形象可以在手机的视频会议中实时镜像面部表情和动作。Loom.ai借由骁龙移动平台的人工智能功能,可在移动硬件上大规模高效部署Loomie 3D虚拟形象。
Loom.ai只需使用一张照片,就可创建出一个完全可定制且具有用户特征和动作的Loomie 3D虚拟形象。它将深度学习与高级CGI相结合,可捕捉带有微表情的细腻动作,并将其应用到用户Loomie中。
就现场的实际体验而言,还是相当震撼的。Loomie 3D通过对使用者的捕捉,可以实时呈现出一个3D的虚拟形象。即便身处异地,也能通过虚拟形象实现面对面的无距离感的交流,增强员工协作,提高工作效率,所营造出的轻松愉快的氛围同时也可提升企业文化。
4、持续优化手机拍照
前面也已经提到,AI很早就已经应用于手机拍照优化了。通过对实际环境的捕捉和实时分析,甚至可以令手机的成像水准突破传感器成像能力的天花板。传感器的成像能力虽然一直都是在逐步提升的,但AI一定更是手机影像的未来。
AI最早应用于手机拍照优化的用例应该就是人像美颜了,通过人脸的精确分析,针对每个人的脸部特征做针对性优化,避免了整体磨皮、提亮造成的千篇一律。
在AI算力逐步提升之后,不仅照片可以美颜,视频同样也可以。现在已经完全可以做到视频中的实时美颜美体,也在一定程度上成就了“全民直播”,人人皆可美,人人皆可做主播。
而到了现在,15TOPS的AI算力可以为手机影像带来哪些提升?相机传感器的成像能力是有上限的,无论单位面积多大的进光量,在极限夜间、暗光环境下无论怎么做算法优化都不可避免会出现噪点,画质不佳。AI降噪则可以突破传感器成像能力上限,通过对画面的实时捕捉和分析再进行处理,优化画质,提升纯净度,得到一张观感更好的照片。
因为手机的内部空间弥足珍贵,手机相机传感器要想获得更好的画质,势必要增大传感器面积和体积,总会有上限。并且与手机追求高度集成、轻薄化的趋势相悖。正是因为终端平台AI算力的不断提升,可以对手机成像做出更精细化的处理。
总结
可以看到,正是依托于骁龙865移动平台强大的AI性能,更多的功能已经得到实现。而现在我们看到的功能相信还只是冰山一角,未来,无论在影像、还是交互方面,AI还将持续对手机使用体验做出更深度优化。
对于骁龙8系旗舰平台来说,性能方面的领先,已经是习以为常的常规操作。而此次骁龙865大幅提升的AI算力以及高通所搭建的AI生态,才更有看点。基于AI,更多的功能演进持续发生,正不断提升着用户体验。