2023 已经行至尾声，这一年大模型和生成式 AI成为人工智能圈的主流趋势。自ChatGPT 出现以来，各式各样通用、专业的 AI 大模型层出不穷，喷涌之势已经不可阻止。随着量化、网络剪枝和知识蒸馏等模型压缩技术进步，手机等终端设备AI算力持续增强，大模型在云端部署之外正在向终端落地迈进。
对于这场已经拉开了序幕的「终端侧革命」，芯片巨头和手机厂商们成为主力军，他们不断尝试在手机等终端设备上部署运行生成式AI大模型，时不时给人们一点小小的惊喜和震撼。
今年2月，我们第一次看到了在手机上运行超过10 亿参数的文生图大模型Stable DiFFUSion。那是在一部搭载高通第二代骁龙 8移动平台的安卓手机上运行的，不到15秒的时间执行20步推理，生成了一张512&tiMes;512像素的图像。这也创造了当时智能手机上最快的推理速度。
你以为这就是手机运行Stable DiFFUSion的速度极限了吗?显然不是。在上个月举行的2023骁龙技术峰会上，不到15秒的生成时间又被整整缩短数十倍。高通最新旗舰移动平台第三代骁龙8(以下简称骁龙8 Gen 3)让速度飞升成为可能。
在峰会现场，高通用搭载了骁龙 8 Gen 3的手机运行相同的Stable DiFFUSion大模型，这次不到1秒(0.6秒)的时间便在本地生成了一张图像。从15秒到0.6秒，终端侧生成式AI大模型的进化速度让我们惊叹不已。
这只是高通在本届骁龙技术峰会上展示其终端侧AI能力的牛刀小试。除了生成速度(从 15 秒到 0.6秒)有了质的飞跃，骁龙8 Gen 3将支持运行的大模型参数规模(从10亿到百亿)提升一个量级。
大模型赋能平台也不再局限于手机，高通下一代 AI PC 芯片骁龙X ElITe亮相，将百亿参数大模型「塞进」PC平台，极大拓展了生成式AI应用的广度。
至此，高通在终端侧AI领域积累起来的领导力和技术领先性进一步得到加强，更赋予了手机、PC，甚至耳机等厂商更多终端AI落地的想象力和可能性。
