芯片AI能力暴涨，能否让手机“比你更懂你”成为现实？

普通女青年

智东西（公众号：zhidxcom）

作者 | 云鹏

编辑 | 心缘

“AI将无处不在”的预言正在成为现实。从智能手机到智能家居，再到工作、出行，我们的生活正在被AI全面渗透。

但是，今天的智能手机真的足够“智能”了吗？

一部普通的智能手机，已经可以识别你的表情、声音甚至是手势，但却很难真正成为实时陪伴你、为你“主动”提供很多个性化服务的得力助手。

这背后，越丰富、复杂的功能，就需要越强大的AI算力和算法做支撑，而移动端的AI性能依旧有很大提升空间。

仅仅在智能手机领域，AI技术已经深入移动游戏、视觉识别、音频交互、通信优化、智能充电等各个角落。为了满足日益增长的AI算力需求，高通、苹果、三星、联发科等主流厂商都在SoC中集成了专门的AI模块，提升芯片的AI性能。

前不久，高通旗舰骁龙8移动平台搭载的第7代AI引擎，其4倍的AI性能提升，以及1.7倍的能效比提升，无疑再次拓展了智能手机AI体验的想象边界。

芯片AI能力的提升到底能给我们的生活带来怎样的实际改变，手机AI性能提升背后又有哪些值得挖掘的硬核技术？移动领域AI的应用和体验或将被抬升至新的阶段。

一、“软硬协同”实现4倍性能提升，通用平台兼顾更多场景


越来越复杂的功能，意味着AI算法模型也对算力提出了更高的要求，算力是实现AI能力的基础。这次从硬件规格上来看，骁龙8的第7代AI引擎可以说是“堆料豪华”。

如今，在AI模型运行要进行大量的张量运算，在骁龙8第7代AI引擎中，计算主力Hexagon处理器中的Tensor模块性能提升了2倍，张量加速器计算性能得以翻倍。

于此同时，Hexagon处理器中的共享内存容量也进行了翻倍，以应对当下日益提高的AI模型深度和规模。基于此，Hexagon处理器能够完整载入一个深度神经网络，而无需将神经网络分块运行并来回传输数据。这不仅提升了性能，同时也节省了功耗。

根据实际表现来看，骁龙8在运行在业内常见VDSR、Resnet50、Inceptionv3等AI模型时，相比上代骁龙888提升比较明显，最高性能提升幅度达到了4倍左右。

当然，想烹饪好一道佳肴，有了硬件高质量“炊具”还不够，软件层面的“烹饪技巧”也必不可少，软件部分的优化对于芯片AI能力的提升至关重要。

据高通官方数据显示，骁龙8单从软件升级中获得的AI性能提升就达到了2倍左右，结合Hexagon处理器的硬件提升，才有前文提到的综合4倍AI性能提升。

值得一提的是，在AI性能提升的同时，骁龙8还兼顾了AI能效比，相比上代骁龙888，提升幅度达到了1.7倍。

在移动领域，目前算力和能效比的提升其实是制约智能手机AI能力发展的主要瓶颈，而为了提升手机芯片的AI算力，业内也有不少厂商在积极探索新的方法和思路。

甚至近来有的厂商还采用了独立外挂NPU芯片的方式提升AI算力，但是这样做也是一把双刃剑，对于功耗的挑战、对于异构计算的挑战以及外置NPU如何与SoC良好协同，都是需要解决的问题。

高通作为移动SoC头部玩家，也洞察了手机对于AI算力的高需求。正如前文我们看到的，高通选择内置AI计算模块的方式来提升SoC的AI算力，同时可以更好地兼顾功耗。

由于这是一种通用性解决方案，其实用性也更广，能够满足更多安卓生态厂商的需求，同时兼容性更好。这种通用AI模块相比专用AI芯片，也可以应对更多实际应用场景。

二、影像、游戏、通信、交互，AI已经融入手机的方方面面


曾经，智能手机的“智能”更多来自于用户可以借助手机拓展信息交互的渠道，手机变得“什么都可以知道”。

但今天，手机的智能更多是AI的深度介入，AI已经在移动影像、游戏、通信、健康监测、交互连接等各个领域发挥着关键作用。

在影像领域，相比上代Spectra ISP采用预先训练的神经网络实现自动曝光和自动对焦，骁龙8直接利用AI实现了实时的人脸识别，这就意味着，即使我们的脸被部分遮挡、甚至是带着面具，骁龙8也可以更准确地进行识别。

同时，得益于更好的自动曝光、自动对焦和自动白平衡，在暗光环境下，骁龙8也可以实现更好的拍照对比度表现和肤色表现。

这次骁龙8的人脸特征引擎可以检测300个左右的面部特征点，是上代骁龙888的2.6倍，检测速度也提升300%，并且所用到的神经网络可以针对更多人脸特征进行训练，从而判断用户眼睛的睁开状态以及是否在微笑，实现更准确的情绪理解。

当下，各家手机厂商都越来越重视超广角的拍照效果，而骁龙8可以很好地解决超广角人像拍摄中人脸尺寸变小的问题，因为骁龙8实现准确人脸检测所需要的最小人脸尺寸相比上代要小很多。

同时骁龙8对于用户肢体动作的检测也更加准确，支持手势检测拍照等便捷功能，提升用户日常的使用体验。

在变焦拍照方面，通过“视频超级分辨率”AI技术，骁龙8能让数字变焦更清晰并保留更多细节。根据实际拍照对比，在变焦高2倍的情况下，骁龙8呈现的细节依旧多12%。

在全球新冠疫情没有得到彻底缓解的当下，视频会议需求依旧高涨，骁龙8在ISP中内置了支持实时视频背景虚化的专用AI引擎，实现实时的会议背景虚化，要注意的是，这是在移动端实现这样的实时AI视频处理技术。

值得一提的是，此次高通还与徕卡合作，将拍照时所用到的图像处理算法写入了骁龙8的AI引擎中，比如有代表性的徕卡风格滤镜算法。

高通一边联合索尼提升ISP能力，一边联合徕卡提升拍照AI算法，这样的产业链整合能力，也成为了高通的核心优势之一。

徕卡风格算法成片

可以看到，仅仅是在影像领域，AI能力的提升已经可以给用户体验带来许多改善，AI让手机拍照能够摆脱硬件的束缚，拍的更快、更准，也更真实。

与影像类似，其实移动游戏应用面对的主要任务也是进行大量的图像处理，在该领域，骁龙8的AI能力能够提升手机的渲染效率，同时进行更加有效的防作弊检测。

第7代AI引擎中的Hexagon处理器，利用多个神经网络实现图形更高的保真度，同时适应游戏操作的实时变化，让游戏保持更高帧率运行。

在通信方面，高通将自家首个AI天线调谐技术融入骁龙8移动平台，能够通过算法检测用户握持终端时手部的位置，增强天线调谐能力，从而优化手机信号状况，也侧面对手机续航起到了一定提升作用。

可以说，AI能力对于智能手机使用体验的提升并非单点突破，而是全方位的赋能。

目前AI技术的落地不断加速，而作为与每个人生活密切相关的智能手机品类，其也成为了AI技术在消费端应用落地的桥头堡，手机芯片AI能力的提升，势必会进一步催化AI技术的应用成熟。

三、增加专用低功耗AI模块，“常伴式”AI成为可能


除了对于峰值AI算力和能效比的需求，其实日常生活中还有很多应用场景，需要的是更加节能、但又时刻保持工作的AI能力。

比如一些待机状态下的识别功能、传感器功能。这也是目前在移动AI领域“鱼和熊掌不可兼得”的现象最为凸显的一部分。

手机需要收集更多数据并进行分析才会更加智能，但这又会增加功耗导致续航体验的下降。

在现有工艺制程和芯片架构之下，如何能够兼顾？始终是厂商们面对的一道难题。

高通这次提供了一种新思路，他们在原有AI引擎之外，给骁龙8的第3代传感器中枢里增加了一个全新的低功耗AI子系统，也可以简单理解成一颗特殊的低功耗AI处理器。

该AI子系统为多核架构，由专用AI处理器、DSP以及自有内存组成，用于处理情境数据流，包括语音、音频、传感器数据等等。

既然是“低功耗”系统，功耗优化自然是重点，该AI处理器与前代相比，AI性能提升75 %，功耗降低50%。得益于这样的能效比提升，它可以帮助手机支持更多需要“长时间运行”的功能，比如语音助手、活动检测以及环境理解。

当我们平时锻炼的时候，手机能够自动追踪我们的锻炼活动，通过一系列传感器，AI能够“理解”我们在进行哪种运动，比如在慢跑还是骑车？在得知运动状态后，AI会自动开始追踪和统计你的各项数据，甚至还能为你播放你喜爱的歌曲。

还有一个典型应用场景就是日常通勤，比如AI检测到用户在开车时，它就会自动打开导航APP并开启语音控制模式，用户并不需要冒着交通安全风险手动开启各类驾驶模式，当然，它也能在你驾车时为你挑选合适的歌曲进行播放。

此外，用户现在可以用自己的声音来搜索视频和录音文件，通过与三方APP厂商进行合作，APP可以利用高通传感器中枢的AI能力对视频中的声音进行“标记”，用户则可以基于自己的笑声、歌声等语音特征来搜索这些对应的视频或音频。

值得一提的是，高通第一次将视觉能力加入到了这类长时间运行的AI功能中，让手机的前置摄像头变得更加“智能”。比如当手机前置摄像头检测到有除了你之外人窥探屏幕时，就会自动将屏幕上的通知信息进行隐藏，从而更好地保护隐私。

当然，上面这些便捷的AI功能背后，所获取和使用的全部数据都独立保存在高通传感器中枢内存中，实现了本地化处理，进一步保证了数据的安全性。

能够看到，得益于这种低功耗AI模块的加入，AI能力在用户体验中的交融，开始从“偶尔体验”变为“常伴左右”。而这种伴随式的AI交互体验其实一直是AI产业落地所追求的方向之一。

四、开发者生态建设助力AI技术落地


AI软硬件技术的提升让AI落地具有可能性，而应用生态的建设则需要开发者们的助力才能真正实现。

今年从各大科技巨头举办的开发者大会上我们可以清楚的看到一种趋势：AI技术已经成为“硬核技术”中的代表，所有头部玩家都在加码自研AI技术的探索。

并且各家厂商都在向开发者门开放各类AI服务平台，力求让开发者们更快捷地将AI能力部署在应用中。

高通的神经网络处理SDK据称是目前业内最受欢迎的AI SDK之一。这次的骁龙8更新了算子支持和最新的训练框架，让AI加速器更易用、更可靠、更快，并且这些更新兼容Android NN和最新的TensorFlow Lite。

虽然这些软件升级不如硬件那样“触手可及”，但对于提升用户体验而言却至关重要。

通过与Hugging Face合作，高通在第7代AI引擎中支持了Transformer网络，情感分析、分类这样的基于自然语言处理的技术带到了骁龙8上。据称在Hexagon上运行情感分析模型，与在CPU上运行相比，性能提升接近30倍。

借助这些基于自然语言处理的解决方案，用户能够得到经过分级处理的新闻、推送和邮件通知，这样用户就可以专注于更重要的事项。

在生态建设方面，高通与谷歌进行合作，将神经网络架构搜索（NAS）引入，并将其集成进第7代高通AI引擎。

目前AI能够自动化设计神经网络模型，针对用户特定的硬件或性能目标创建最佳神经网络拓扑结构。得益于NAS的引入，开发者和工程师们可以更高效地开发AI解决方案，推动应用的落地。

结语：移动AI能力的边界被不断拓宽


智能手机对于AI算力的需求日益增长，以骁龙8为代表的移动SoC，在AI算力、AI能效比提升以及AI应用场景落地、开发者生态建设等方面不断发力，让智能手机侧的AI体验边界不断拓展。

当下，以各类智能硬件产品、服务为代表的边缘及端侧AI市场正在快速增长并惠及越来越多的人，AI对于终端体验的改变，逐渐从量变积累走向质变。

正如高通CEO安蒙所说，高通在移动领域一直在布局底层技术，而这些也是面向未来“元宇宙”时代的关键技术。元宇宙需要AI学习和适应不断变化的环境并执行各种任务，AI将会无处不在，这也让我们对高通未来AI技术的发展，抱有更多期待。

声明：以上内容来源于网络，如有侵权请联系我们(123@shiyan.com)删除！

哈喽可可

转发了