互联网资讯 · 2024年5月22日

科技博主阑夕:大尺寸模型不仅仅降低价格,还能提高并发能力

豆包通用模型lITe-4k/32k,千Tokens推理输入售价0.3厘;通义千问qwen-long,千Tokens推理输入售价0.5厘;百度文心ERNIE speed、ERNIE LITe,宣布免费。

针对近期的大模型降价狂潮,科技博主阑夕发文称:行业里说千Tokens价格,光低价还不够,吞吐量太小的话,再便宜也用不了多少。如果只是把价格降下去,吞吐还是小水管,那真是降了个寂寞。

以下是阑夕微博主要观点:

豆包大模型打响价格战已经过了一个星期,山雨欲来的效果还是挺明显的,同行要么跟着一起降价,要么开始写小作文阴阳,特别热闹。

有比较急的,拿以前云雀模型的限流指标和模型单元价格来算,暗戳戳说豆包实际使用价格要高。等火山引擎官网把不同版本、不同规格的销售方案全部亮了出来,不管是预付费还是后付费都确实是击穿地板的底价标准,瞬间打脸回去。

豆包模型定价,最值得关注的是把TPM(每分钟Token数)提到80万,比同行(一般是10万到30万Tokens)高几倍。如果对话文本小,RPM(每分钟请求数)上限1万,能支持的并发量是同行(一般是60到120,轻量版是300到500)的几十倍。其他大模型要不要跟?

科技博主阑夕:大模型不光卷价格,还要卷并发

行业里说千Tokens价格,光低价还不够,吞吐量太小的话,再便宜也用不了多少。如果只是把价格降下去,吞吐还是小水管,那真是降了个寂寞。

大模型的算力烧钱主要在训练端,推理端的成本其实是每年都有几十倍优化空间的。但再怎么优化,也不可能优化到0。

足够便宜,但依然能赚钱,由此促成应用/商用市场的规模增长,包括OpenAI在内的主流大模型开发商,都是这么一个思路,可以不讲武德,但是商业规律还是得敬畏的。

不管怎么说,大模型toB还在做大蛋糕的阶段,有更多公司一起解决企业入局的成本门槛,也都算是共赢吧。

OpenMagic API

Need more than content? Move into the product flow.

If you are here for model access, pricing, developer docs, or the future API console, the dedicated product path now lives on api.openmagic.ai.

登录免费注册