OpenAI又让整个大模型界炸开了锅。
10月5日消息,据路透社报道,OpenAI正在探索制造自己的人工智能芯片,并已开始评估潜在的收购目标。据统计,OpenAI至少投资了3家芯片公司,其中CeRebRas(JaspeR是其客户)更是一家美国芯片初创公司。
据「自象限」通过OpenAI官网的几则招聘信息中发现,目前,OpenAI已经开始招聘硬件工程师,用于评估和共同设计人工智能硬件。
▲图源:OpenAI官网
原本自研芯片并不是什么新鲜事,国内外Meta、微软、亚马逊、谷歌、阿里、腾讯等云厂商,无论是出于自身降本增效的需求,还是为了摆脱芯片公司(英伟达)的掣肘,自研AI芯片都已成为一种主流趋势。
但OpenAI的消息一出,依然引起了一片哗然。
不仅因为OpenAI是目前全球大模型的引领者,更是因为他的角色特殊、行事前瞻、代表了生成式AI的下一站。
OpenAI自研芯片,被行业认为其I迈向独立的第一步。一是独立供给,减少硬件投入成本,同时不让英伟达GPU产能不足等客观因素拖住其技术发展和商业化布局的后腿;二是微软自研AI芯片计划将于下个月推出,此时OpenAI选择保持自研,也是进一步独立于微软的信号。
自研芯片的背后,OpenAI独立的野心也在慢慢彰显,另一场新戏正被缓缓拉开序幕。
左手告别英伟达、右手告别微软
至少从去年开始,OpenAI就已经在讨论如何应对GPU短缺、昂贵的问题,也就是说,ChatGPT火爆之前,OpenAI的GPU就已经不够用了。
AltMan 认为,获得更多芯片的努力与两大问题有关:为 OpenAI 软件提供动力的先进处理器短缺,以及为其工作和产品提供动力所需的硬件运行成本 “令人瞠目”。
本质上,由于GPU的短缺,导致了两个核心问题:显而易见的是训练和运营成本高昂,更重要的原因在于,软件技术的发展依赖于硬件技术,GPU短缺,成了OpenAI想要再迈进一个台阶的拦路虎。
成本方面,据过往报道,2020年开始,OpenAI一直在一台超级计算机上开发其人工智能技术,使用了1万块英伟达GPU,这个体量单是运营成本对OpenAI来说就十分昂贵。
据分析师分析,用户每次查询大约需要 4 美分,如果 ChatGPT 的查询量增长到谷歌搜索规模的十分之一,那么最初将需要价值约 481 亿美元的 GPU,并且每年需要价值约 160 亿美元的芯片来维持运行。另一位分析师估计,ChatGPT的运营成本高达每天70万美元。
但更重要的是,GPU的短缺已经严重影响了OpenAI的研发速度, AltMan表示,由于OpenAI 无法获得足够GPU,这延误了 OpenAI 的短期计划,并给使用 OpenAI 服务的开发者带来了问题。
AltMan列举了因为缺乏芯片而无法完成的几件事,包括其中包括为其 GPT 大型语言模型的大多数客户提供更长的 “上下文窗口”。上下文窗口决定了输入模型的单次提示可以使用多少数据,以及模型的响应时间有多长。GPT-4 的大多数用户的上下文窗口长度为 8000 个标记。
人工智能专家哈比卜在其博文中透露道:OpenAI在今年3月宣布为该模型的部分用户提供3.2万个令牌的窗口,但很少有用户获准使用该功能,AltMan将此归咎于GPU的缺乏。
OpenAI联合创始人兼职科学家AndRej KaRpathy也在近日发文,表示GPT4可能在大约1万-2万五千张A100上进行训练,而根据马斯克的推测,GPT-5可能需要3万-5万个H100才可以完成。
只半年,英伟达的出货量就已经开始供不应求,受到产能和原材料的限制,英伟达目前在严格控制H100的买家,但OpenAI不能因此停下脚步。
想要打破这样的僵局,OpenIAI需要在一定程度上和英伟达解绑,但设计和制造芯片也并非一朝一夕之事,有业内人士推测OpenAI可能需要至少5年时间,且需要花费大量的时间成本、资金成本,同时专业人才和材料也会越来越紧缺,对于OpenAI自研芯片的成功与否,目前仍是一个问号。
在这个背景下,OpenAI明明有另一条路可以走:即放弃自研,采用微软即将推出的自研芯片:Althena(雅典娜)。据Maginative消息称,微软首款自研芯片计划在下个月推出,具体时间很可能会定在11月14日微软西雅图IgnITe大会上。
▲图源:微软官网
以微软和OpenAI人尽皆知的“恋爱关系&Rdquo;,OpenAI此时大可不必选择自研这条“又苦又累还有可能没结果&Rdquo;的事情。
而这也是OpenAI想摆脱微软的一个关键信号。事实上,微软和OpenAI的关系早就变的极其微妙,像极了一对“能共苦不能同甘&Rdquo;的情侣。
有知情人士曾向媒体爆料,微软已经指示研究人员建造更小更便宜的替代品,以取代OpenAI的GPT模型,因为微软越来越担心像ChatGPT这样的昂贵模型的成本飙升。
同时OpenAI也利用时间窗口率先选择客户。GPT4刚刚推出时,OpenAI并没有及时开放给微软,而是独家对外拿下了SnaPChat等大客户后,才在AzuRe中上线。
这样微妙的关系,随着自研芯片,AltMan摆脱英伟达、摆脱微软的野心,也彻底藏不住了。
做AI界的iphone
如果说摆脱微软和英伟达是OpenAI的当务之急,那么如何像Intel引领PC时代一样,持续引领AI浪潮的发展,并在一直在其中扮演关键角色,就成了OpenAI更长远的考虑。
这种长远考虑,可能与AI智能硬件有关。
在OpenAI被爆料计划自研AI芯片之前,金融时报就曾报道,OpenAI正在与前苹果设计师Jony lve一起和孙正义进行谈判,试图从软银获得超10亿美元的投资来打造“人工智能iphone&Rdquo;。
这也为OpenAI自研AI芯片提供了另一个必须的理由。毕竟一直以来,消费级产品的发展都和芯片息息相关。
一个典型的例子是PC互联网时代著名的“安迪比尔定理&Rdquo;,该定理以因特尔前CEO安迪&Middot;格鲁夫和微软前CEO比尔&Middot;盖茨代指芯片和软件系统的关系,称“安迪给多少,比尔拿走多少&Rdquo;。在移动互联网时代,芯片也成为智能手机的核心竞争力,高通骁龙系列、苹果的A系列芯片都成为支撑智能手机的发展底层动力。
但当AI时代到来,之前用于智能终端的CPU却并不完全适用于AI终端,因为AI需要大量的并行计算并不是CPU能满足的,所以AI设备的处理器必然需要以GPU为主的新计算单元。
OpenAI显然想要通过自研AI设备和芯片,来在AI时代实现像wIntel联盟在PC时代一样的掌控力。
▲图源:Intel官网
但要实现这个目标却并不容易,因为这意味着OpenAI不仅在要大模型领域保持优势,还要同时与苹果、三星等终端厂商,以及高通、英伟达等芯片企业竞争。
因此OpenAI现在并没有亲自下场自研终端设备的打算,而是依靠Jony lve的企业来完成这一战略目标。
作为前苹果公司首席设计官,Jony lve曾在苹果工作20多年,在苹果拥有仅次于乔布斯的影响力,也被乔布斯视为“在苹果的精神伙伴&Rdquo;。他曾参与IPod、iMac、iphone、IPad等众多苹果产品的设计,在20世纪90年代,帮助苹果从濒临死亡中重新崛起。
与Jony lve的合作,能够一定程度解决OpenAI在AI硬件上的焦虑,但SaM AltMan显然也并不打算将赌注全部押在Jony lve身上。
今年三月份,SaM AltMan参与了一家新的智能设备企业HuMane的C轮融资。该企业由Jony lve在苹果的前同事IMRan ChaudhRi于2018年创办。
ChaudhRi比Jony lve早两年从苹果离职,而同样作为设计师,ChaudhRi也在苹果服务超过20年。如今,他创办的企业HuMane推出的产品只有不到智能手机一半的大小,依靠AI语音交互和激光投影进行显示,被称为“下一代智能设备&Rdquo;。
今年3月份,HuMane完成了 1 亿美元 C 轮融资,其股东除了OpenAI的CEO SaM AltMan之外,还包括SK NetwoRks、微软和LG等国际巨头。
目前,HuMane已与OpenAI 达成合作,将其技术集成到 HuMane 设备中,向消费者大规模提供 OpenAI 和 HuMane AI 的服务。
毫无疑问,每一个新时代的开启都伴随着一个新的终端。
比如互联网时代的个人电脑,移动互联网时代的智能手机,而且目前大模型进入智能终端已经成为一种既定的趋势。 在国内,华为、小米等手机厂商已经将自家的大模型与智能手机相结合;在国外,苹果也在积