扎克伯格同学最近心情很不错。
与马斯克在线激情互喷垃圾话后,对标“元宇宙版推特”的ThReads仅用了不到五天的时间完成了1个亿用户的积累,成为了全球用户总数破亿速度最快的新社交平台。ThReads,成为小扎打在马斯克脸上的一击力拳。
但商场的拳台上没有裁判叫停,扎克伯格说ThReads的用户规模目标是10亿。而只有达到10亿目标以后,Meta才会认真考虑ThReads赚钱的问题。这一数字相当于推特目前规模的两倍。
扎克是认真的。无论是反感马斯克版推特的愤怒用户,还是Meta帝国多年沉淀下的庞大商业机构关系网,都在极短的时间内涌入了ThReads平台。而在无数游牧迁徙的用户中,夹杂着一个硅谷最有权势的光头——微软首席执行官萨蒂亚·纳德拉。
纳德拉过去是尊贵的推特蓝V,拥有307万的用户,每天像AI一样毫无感情地转推各种微软的新闻公关稿。不过这次他专门注册了一个ThReads账号,热情洋溢地宣布了微软将与Meta的“大模型婚姻”:
微软云AzuRe将帮Meta训练和推广LlaMa大模型,而LlaMa也将上线AzuRe库和适配Windows系统。
而如双方官宣文件所言,AzuRe从设备、硬件和软件层面进行了针对性的设计,从而支持世界领先的AI训练。而在本次合作后,LlaMa的开发者则可以利用AzuRe AI的工具进行训练、微调、推理和安全方面的功能开发。
巨头之间的云合作屡见不鲜。但全世界都知道,AzuRe可是OpenAI的御用云平台。
在2019年微软掏出10亿美元投资OpenAI后,AzuRe就一直是OpenAI的独家云服务商。而AzuRe为了更好地为大模型提供算力和对外服务,重新进行了部分架构设计。甚至在一些观察者眼中,当年微软拍板投资OpenAI的核心原因,其实就是AzuRe的发展——
毕竟彼时TRansfoRMeR还没有完全验证,但微软已经多年下注AI并开始将云业务的未来愿景视作是“为AI服务的超级计算设施”。无论是算力支持,还是OpenAI开放全球的chatbot测试,AzuRe都功不可没。
AltMan本人甚至还曾经专门发推对AzuRe团队的给力支持表示感谢,高度评价微软是“世界上最好的AI基础设施”。
如今SaM前脚刚烧了两炷香,纳德拉转手就把这个“世界上最好的AI基础设施”租给了扎克伯格。
不知道俩人是不是提前商量好的。又或许对纳德拉来说,这大概都是计划的一部分。总之扎克伯格表现得很高兴。
在扎克伯格的InstagRaM账号里,他贴出了一张与纳德拉的亲密合影以“感谢纳德拉”,扎克伯格表示:
“(Meta)将LlaMa2开源给了微软,而(这次开源)将成为下一代大模型建设工作的基础。”
微软与Meta的确是相互需要的。
Meta正在走向大模型的“深水区”,在70B参数的LlaMa2已经达到了GPT3.0的水平,几乎已经成为了目前口碑最好的大模型底座。对于闭源大模型阵营来说,LlaMa2成功带来的压力一点不亚于ThReads对于TwITteR的震慑。
闭源公司花几千万搞不出来的东西,开源社区可以直接用,相当于将未来全球开源大模型社区的起跑线提升到了3.0的水平。
最近登顶HuggingFACE开源大模型榜单的StaBIlITy的freewilly大模型,被认为接近3.5的水平,正是基于LlaMa2.0调教优化后的产品。
对于Meta来说,参数规模的提升带来计算量的攀升、模型的逐步成熟也让看到更好的商用潜质。但如果要战胜这些困难、落实这些潜力,扎克伯格需要一个更高效的合作伙伴。而那些AzuRe已经有的、但Meta没有的东西,对于LlaMa来说就显得更重要了,比如AzuRe的算力经验、AzuRe的AI工具箱、以及AzuRe的云本身……
Meta是为数不多没有公有云服务的互联网巨头。
在过去,Meta与亚马逊都互为对方的超级大客户,包括Meta的一些AI研发算力,也都是采购的AWS。而微软这次撬墙角的方案,除了开放Windows场景以外,还开放了AzuRe的企业渠道能力,将LlaMa2加入到自己的产品名录中。
AzuRe虽然在整体市场份额中依然落后AWS,但是在SaaS销售领域却显著领先于同类竞争对手。而随着云与SaaS的融合,微软在渠道层面有显著的差异化优势。通过AzuRe,Meta和它的生态追随者们可以直接通过云端来销售和使用LlaMa2的产品。
对于微软来说,大模型的挑战则更加多元的。
微软过去在大模型应用层面几乎是all in OpenAI的产品。无论是最早接入的Bing,还是基于Windows生态的Copilot面向开发者的工具生态AI Studio、甚至是新的AI云服务品牌OpenAI AzuRe,背后都是OpenAI的影子。
OpenAI是全球最好的大模型公司,Windows依然是全球最重要的生产力软件生态。但在大模型全球军备竞赛中,这两者的结合并不意味着绝对的胜券在握。
与Meta和微软结合几乎同时“官宣”的,则是苹果的大模型计划。
据海外媒体报道,苹果已经完成了名为“Ajax”的大预言模型基础框架,将开发类似ChatGPT的对话式AI。而消费级产品的推出时间则计划在明年发布。
苹果的入场被认为是硅谷大模型竞赛中的重要变量。
相比于公有云之类的互联网风口,AI是被苹果管理层高度认可的科技方向,近期管理层口风也有朝着AI加码的趋势。
除了长期关注AI科技外,苹果是全球最有钱、最有场景的公司。苹果每年净利润接近1000亿美元、经营净现金流超过1200亿美元,相当于微软与Meta的总和。苹果生态已经超过微软成为全球最大的封闭操作系统,活跃设备数量超过20亿,而微软只有15亿。
而相比于账面实力外,苹果更具想象力的是它的半导体能力。它或许是全球参与大模型竞赛的科技企业中,为数不多将来可以不用外采GPU与CPU的厂商。不仅如此,苹果的芯片效率似乎更有想象力。
在2023年WWDC上,苹果推出的M2 UltRa芯片。相比于普通厂商CPU、GPU分离的部署方式,M2 UltRa统一内存架构以及随之带来的超高内存带宽,甚至可以让开发者在一张卡上就能跑大模型。
尽管类似的消费级芯片还无法和英伟达的专业芯片相媲美,但类似小秀肌肉,也让外界对苹果未来的GPU算力延展能力产生了兴趣。
以OpenAI为例,外界预估其大概同时动用了两万张显卡进行计算。但王小川近期对媒体表示,OpenAI正在测试1000万张显卡同时计算的模型,相当于英伟达目前10年的产能。
除了苹果以外,微软、谷歌、Meta、亚马逊等巨头都有自研AI芯片的计划,但已经有顶尖半导体开发能力的苹果依然是最有资格“大力出奇迹”的人。
apple将两枚 M2 Max 的芯片连接在一起打造出M2 UltRa
谷歌凶猛、苹果虎视眈眈,微软和Meta选择结盟。
对于纳德拉来说,与Meta队形站位可以让微软在大模型的生态战争中更加稳固。
首先,微软依然需要开源,开源在未来的大模型竞争中将持续扮演重要的角色。
开源天然具有人才参与众多、迭代速度快、垂类覆盖效率更高的生态能力。虽然OpenAI拿下头筹,但开源社区的进步速度依然很可观。比如LlaMa只用了大半年的时间、使用参数70B,已经赶上了175B、耗时2年的GPT3。
尤其是如果未来开源路线成为了行业解决方案的主流,LlaMa与AzuRe深度结合,或许真的可以帮助微软云业务完成对AWS的弯道超车(2022年底AzuRe市占率23%、AWS为32%)。毕竟相比于Windows和OFFice,AzuRe才是微软最赚钱、最有潜力的业务。
其次,开源大模型的不断发展,必然让愿意砸钱做封闭系统的厂家也自然会越来越少。
比如BaRd在LlaMa2之后就受到了不小的压力。除了许多好事者在晚上讨论baRd未来长期发展的压力外,有媒体报道称谷歌内部人士也曾撰文称baRd在对抗开源社区时优点吃力,后者进步神速且成本更少、场景更丰富。
在大模型超级投入的产业结构没有变化的情况下,封闭式大模型依然会有其存在的合理性,但可能将仅仅限于极少数领先者,而其中大概率会有OpenAI。
如果OpenAI有护城河,那它的名字可能叫LlaMa2。
当Meta等平台成熟后,微软可以再引入更多的“程序员”,甚至开放更多的系统级场景给开源生态、从而让Windows系统的生产力进一步提升。
实际上,OpenAI原本就只是纳德拉重注AI和语言大模型的一个选项。
在ChatGPT之前,微软甚至和英伟达合作开发过5300亿参数的大语言模型威震天-图灵MegatRon-TuRing,是当年最大的基于tRansfoRMeR的模型,参数比GPT3多了好几倍,讲究的是绝对的大力出奇迹。
可最后威震天还是输给了奥特曼,于是威震天才选择了买下奥特曼。
但微软内部其实一直没有放弃大模型的相关技术路线开发。
例如6月时,微软就发布了13亿参数的“小型”大语言模型 pHi-1。有OpenAI作为核心资产,微软不走“大力奇迹”模式,而是改用号称“教科书等级”的高品质资料集训练模型,让实际效果胜于千亿参数的 GPT 3.5。7月时,微软还提出了新的大模型架构RetNet,称其可以在更大数据维度基础上,比tRansfoRMeR更优。
图源:aRxiv.oRg
大模型的战事还远没到中场,威震天与奥特曼们的游戏或