在2021年倒数之际，OPPO未来科技大会在深圳如期开幕，首款影像专用NPU-马里亚纳® MariSilicon X正式发布。马里亚纳X具备强大算力、能效比和计算速度，18Tops AI的算力甚至超过苹果A15。同时整合和进化了视频流趋势下影像处理的能力，将计算影像推向了4K+20bit RAW+AI+Ultra HDR的新极限。发布会后，OPPO芯片产品高级总监姜波接受了媒体采访，进一步分享了OPPO自研芯片背后的故事。
为什么OPPO要自研芯片，姜波强调拥有芯片意味着OPPO拥有最底层的基础能力，很多能力的建设都是在这个基础能力之上。就想好的用户体验，就需要软件和硬件的深度整合，包括算法和硬件的深度耦合，这些做好之后才能给消费者层面带来一些更有价值的点。这些价值点逐渐增多之后，才能逐步在高端层级站得更稳。
OPPO为什么要“造芯”
而在具体问题上，当前ISP和通用处理器算力不足，导致的夜景视频长期以来画质不佳的难题，以及传统影像链路中的信息损耗问题，也是让OPPO选择自研马里亚纳X初衷。那为何是NPU，因为马里亚X的AI能力是传统ISP所完全不具备的，专芯专用的能力和效率也是通用NPU绝对比不了的。姜波认为NPU应该去做特别重要的，在手机上应该用来完成计算影像的处理，因为计算影像其实是对算力在各种应用下算力要求最高的一部分，所以专芯专用或者优化的方向应该是这个方向。
此外，高效的芯片应该根据应用场景真正把它的有效算力释放出来，所以它的能效是跟应用场景相关的。因为做一个通用型的NPU，其实它很难聚焦某一个应用场景的，但是OPPO是终端厂商，更明白用户痛点在哪，用户场景的价值点在哪。所以会根据这个应用场景去相应的设计硬件架构，去提升它的相应的能效比，换句话说提升有效算力。。
另外一个问题是如何协同SoC。马里亚纳 X它本身是影像专用NPU，它是要跟SoC的主平台去协同的。非常简单一个原理，从相机传感器进来最原始的数据，通过马里亚纳 X去做处理，在处理完之后，再把更好的处理过的数据送给SoC。比如说我们谈到的HDR也好、降噪方法也好，其实这些不需要工作在SoC主芯片里面再去做了。从整个影像的链路来讲，通用平台整体的影像质量提升才是OPPO的目的。
OPPO自研芯片为何能快速问世
其实OPPO第一个芯片上线的速度很快，也用上了先进的6nm工艺，并且一次就流片成功。对此姜波表示，OPPO的芯片从IP到前端后端都是自研，包括软件硬件全都自研，这本身是个非常大的挑战。所以OPPO首先找到了有经验的团队和伙伴，而且理念上大家追求极致。工程师很辛苦，像流片的拿回来之后是快马加鞭，没有一个小时的延误，直接送到实验室，点亮过程中就是24小时。整个团队的高效和付出精神，是OPPO芯片加速问世的核心一环。
OPPO研发克服了哪些困难
从无到有是很挑战的事情，姜波分享了这个过程的不易，开始内部做一些自己的project，到最后这个gap怎么让它变小，怎么样去优化，这整个过程充满困难。哪怕是一些公共的IP，比如因为选了6纳米先进制程，而Camera部门接受的pipepline（影像链路）要求是非常高的。而处理双路RGBW数据意味着芯片的接口数据吞吐量非常高。那个时候整个市场6纳米的IP我最高的是3.5SPS，但至少说4.5才能满足要求，只能自己从核心IP自研，自己去做。
但开始团队人也比较少，需要很有经验的人，我们几个人大家就说我就冲上去了。冲上去之后其实坦白说正常来讲，如果你有一个好的Schedule，哪怕我做过MIPI，我在12纳米做过，如果我在16纳米没有做过我是没有底气的。我需要先跑一个NPW去验一下这个IP的设计，等到（英文）回来之后，我说S2S跟我的整个芯片预想是一样的，整个芯片特性。到了最后我才拿已经验证过的IP放到最后的芯片做一次大的take part，那个take part你也知道本来成本很高。当时我们因为Schedule这个压力我们把所谓的做subtle、做tactic这个流程完全取消掉了，意味着我们做这个IP的同事面临的压力是非常大的。说白了要为整个芯片负责，但这个IP你看我们今天发布会上一句话都没有提，6纳米。不光这个团队，其他团队也面临这样的问题，整个环节必须每个环节的人要协同得非常好。我说的我们内部专职做NPU和我们做图像处理的团队他们之间要非常紧密的配合，这是数据的吞吐、来回。
还有算法的同事要跟做硬件的同事不停做迭代，如果有一个，而且是新团队，大家以前工作的背景也不一样，有时候你会面临一个新团队，如果这个算法和硬件配合不成功的话，硬件的人说算法的问题，算法的人说是硬件的问题，往往这个东西做不出来，或者你做出来之后你没法真正达到Tier1的水平。Tier1的水平是说，我们今天看到能效对比，你看我今天提了一个叫做11.6每瓦，我们说得很严谨，是根据我们的AI算法用随机生成的图片真正跑出来一个真实的4K的数据生成的图片，真是跑出来的能效。如果你用人眼可以看到，比如我用一个不光是瓶子还是一个风景画这种随机性就降低了，我们真实能效比这个还高。这都是要把它推到一个真正极致。我们同样对比，如果我要用一些通用平台你也看到那个数据是数量级上的差别。所以这些要说的事情，因为我是真的算是参与了从可能这个事情完全没有，到它出来整个过程，所以应该说感受到的工程上，尤其是我们的工程师，出于责任心，真的是相当长一段时间里周末基本上把自己的时间都放在工作上，应该说牺牲很多。每个人牺牲都很多，参与这个事情的人。
OPPO要定义未来影像
OPPO马里亚纳X具备了高规格的影像处理性能，达到了4K+20bit RAW+AI+Ultra HDR的新极限，之前谷歌发布的Tensor是19Bit。OPPO做一颗芯片，把它定义成HDR的新标准，20Bit就是手机将来HDR高端手机上后面新的标准，姜波这样评价马里亚纳 X的规格。显然，马里亚纳 X在立项当初就定下了更高的规格。
