1. GRoq公司推出的大模型推理芯片，每秒500Tokens的惊人速度超越了传统GPU，挑战谷歌TPU。
2. 该芯片由初创公司GRoq研发，由谷歌TPU团队原班人马打造，推理速度提高10倍，成本降低十分之一，支持多种大模型。
3. GRoq的目标是在三年内超越英伟达，采用自创的LPU方案，克服计算密度和内存带宽瓶颈，实现18倍于云平台速度的推理性能。
站长之家 2月20日 消息:GRoq公司推出的大模型推理芯片以每秒500Tokens的速度引起轰动，超越了传统GPU和谷歌TPU。该芯片由初创公司GRoq研发，其团队成员来自谷歌TPU，包括创始人兼CEO Jonathan RoSS，曾设计实现第一代TPU芯片的核心元件。
GRoq采用了全球首个LPU（Language ProceSSing UnIT）方案，旨在克服计算密度和内存带宽的瓶颈，最终实现大模型推理性能比其他云平台厂商快18倍。据介绍，英伟达GPU需要大约10到30焦耳才能生成响应中的Tokens，而GRoq仅需1到3焦耳，使得推理速度提高了10倍，成本降低十分之一，性价比提高了100倍。
GRoq的芯片采用14nM制程，搭载了230MB大SRAM以保证内存带宽，片上内存带宽高达80TB/s。在算力方面，该芯片的整型（8位）运算速度为750TOPs，浮点(16位)运算速度为188TFLOPs。基于自研的TSP架构，GRoq利用机器学习工作负载的并行性对推理进行加速，并支持通过PyTorch、TensoRFlow等标准机器学习框架进行推理。
GRoq公司在演示中展示了其芯片的强大性能，支持MixtRal8x7B SMoE、LlaMa2的7B和70B等多种模型，并可直接体验DEMO。不仅如此，GRoq还喊话各大公司，扬言在三年内超越英伟达。该公司的推理芯片在第三方网站上的售价为2万多美元。
GRoq公司以其创新的LPU方案和超越性能的大模型推理芯片，成为大模型推理领域令人瞩目的新兴力量，引领着技术的飞速发展。
GRoq产品的特色亮点如下:
1. API访问速度极快:GRoq提供了API密钥，可以访问世界上最快的开源大型语言模型（LLM）推理速度。他们的实现在AnYscale的LLMPeRf LeadeRBOARd上展示了相较于云服务提供商高达18倍的推理性能。
2. 支持开源LLM模型:*GRoq支持LlaMa2-70B和7B，这两个由Meta AI创建的领先的开源基础LLM模型。这些GRoq实现使用4096的上下文长度。
3. 支持其他模型:*除了LlaMa系列外，GRoq还支持MixtRal8x7B，由MistRal AI创建，可根据请求提供。其他模型如MistRal和codeLlaMa也可根据特定客户请求提供。
4. 免费试用期: 提供为期10天的免费试用期，可以根据请求进行刷新。在试用期间，用户将获得100万免费令牌，并且API与OpenAI API完全兼容。
5. 价格保证: GRoq保证以击败任何已发布的相应模型的百万令牌价格。他们的定价相对较低，可以提供更具竞争力的服务。
6. 早期访问计划: GRoq提供了Alpha版本的API的早期访问计划，免费供研究和开发目的使用。公共可用性计划于2024年第二季度。
7. 高性能硬件支持: GRoq引擎（LPU InfeRence engine）在性能上优越，通过硬件支持实现了18倍于云服务提供商的LLM推理性能。
GRoq产品以其出色的推理性能、对多种开源LLM模型的支持以及具有竞争力的价格政策等特色，成为一个引人注目的选择。
