摘要：AI产品开发者需要先行一步，早一些让用户体验自己的产品，和用户建立连接，培养粘性，从而在竞争中占得先机。
2024注定是AI行业热闹非凡的一年。虽然刚刚进入3月份，但是关于AI的新闻已经多次占据了头条。就在上个月，OpenAI发布了文字生成视频的大模型Sora，其逼真的效果直接清空了在这个细分赛道苦苦耕耘的创业者。几天后，英伟达市值站上2万亿美元，成为了历史上最快实现从1万亿到2万亿美元市值的企业。正所谓“当你发现金矿，最好的生意不是挖矿而是卖铲子”，英伟达成为了AI时代“军备竞赛”的最大赢家。
就在大家感叹“世界上只有两种AI，一种叫OpenAI，一种叫其他AI”的时候，沉寂了许久的Anthropic放出王炸，这家由OpenAI前研究副总裁创立的公司，发布了最新的Claude3模型，各项指标已经全面超越了GPT4。
AI行业的风起云涌，也昭示了这个行业还处在一个初级阶段。 技术迭代太快，暂时领先的企业可能在一夜之间就被新技术颠覆。一些眼花缭乱的新技术，虽然已经问世，但迟迟不公开或者没有部署。比如上文提到的Sora，截至发文，还没有正式向公众开放。
生成式AI的研发和本地部署之间存在鸿沟。 目前，大众使用的生成式AI产品往往是部署在云端而在本地访问(比如ChatGPT网页)，但这无法满足所有需求，并且会产生一些隐患。
首先，随着大模型越来越复杂，云端和本地之间的传输在有限带宽下变得捉襟见肘，比如一架波音787飞机每秒钟产生5G的数据，如果上传到云端、计算、输出结果再返回，飞机可能已经飞出去几公里了(按照800公里/小时估算)。如果在飞机上使用AI功能但是在云端部署，这样的传输速度是无法满足要求的。
此外，一些用户敏感数据、隐私数据，是否一定要上云?显然放在本地比云端更让用户放心。
不论生成式AI多么强大，如何部署到本地始终是一个无法绕开的问题。这是行业发展的趋势，虽然目前面临一些困难。
困难在于，如何把“大模型”装入“小设备”。 注意，这里的“大小”是相对而言的。云端计算的背后可能是一个占地几万平方米的计算中心，而本地部署却要让生成式AI在你的手机上跑起来。手机没有液氮冷却，也没有无穷无尽的电力，该如何部署AI呢?
异构计算，一种可能的解决方案?
高通的异构计算AI引擎(以下皆称作高通AI引擎)为行业提供了一种可行的解决方案。即通过CPU、GPU、NPU以及高通传感器中枢和内存子系统的协作，实现了AI部署和大幅度提升AI体验的目的。
不同类型的处理器所擅长的工作不同，异构计算的原理就是让“专业的人做专业的事”。 CPU擅长顺序控制，适用于需要低延时的应用场景，同时，一些较小的传统模型如卷积神经网络模型(CNN)，或一些特定的大语言模型(LLM)，CPU处理起来也能得心应手。而GPU更擅长面向高精度格式的并行处理，比如对画质要求非常高的视频、游戏。
CPU和GPU出镜率很高，大众已经相当熟悉，而NPU相对而言更像一种新技术。NPU即神经网络处理器，专门为实现低功耗、加速AI推理而打造。当我们在持续使用AI时，需要以低功耗稳定输出高峰值性能，NPU就可以发挥最大优势。
举个例子，当用户在玩一款重负载的游戏，此时GPU会被完全占用，或者用户在浏览多个网页，CPU又被完全占用。此时，NPU作为真正的AI专用引擎就会负担起和AI有关的计算，保证用户的AI体验流畅。
总结起来说就是，CPU和GPU是通用处理器，为灵活性而设计，易于编程，本职工作是负责操作系统、游戏和其他应用。NPU则为AI而生，AI是它的本职工作，通过牺牲部分易编程特性而实现了更高的峰值性能和能效，一路为用户的AI体验护航。
当我们把 CPU、GPU、NPU 以及高通传感器中枢和内存子系统集成在一起，就是异构计算架构。
