互联网资讯 / 人工智能 · 2024年2月17日

Transformer大模型在边缘侧部署是否可行?爱芯元智AX650N称没有问题

5月30日消息,ChatGPT成为史上增长最快的消费类应用。ChatGPT代表的高阶人工智能表现对人们的冲击。

ChatGPT使用的TRansfoRMeR架构是以自监督的方式预训练的,作为基于GPT预训练语言模型的消费类产品,ChatGPT的成功也让技术圈看到了TRansfoRMeR的巨大潜力。

越来越多AI研究领域开始把自监督方式预训练的TRansfoRMeR用在各大应用场景,以期待产生类似ChatGPT的智能涌现。

TRansfoRMeR模型往往需要巨大量的参数,才能出现所谓的“智能涌现”。因此,目前较为成功的GPT模型,大都是在“云端”进行训练和落地。

未来要想让GPT模型应用产品在消费级市场有广泛应用和发展,解决在端侧、边缘侧高效部署TRansfoRMeR将是关键一环。

爱芯元智技术团队对第三代高算力、高能效比的SoC芯片——AX650N进行了优化,经测试,优化后的AX650N已成为业内首屈一指的TRansfoRMeR端侧、边缘侧落地平台。

Transformer大模型在边缘侧落地可行吗?爱芯元智AX650N表示无压力

对于有在端侧、边缘侧部署TRansfoRMeR模型以提升图形图像识别精度的企业来说,借助AX650N就能实现TRansfoRMeR模型落地、提升其视觉能力。

AX650N是爱芯元智于2023年3月推出的SoC芯片,具有高性能、高精度、易部署、低功耗特征。

经适配TRansfoRMeR调优后,AX650N平台表现出色:361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗。

Transformer大模型在边缘侧落地可行吗?爱芯元智AX650N表示无压力

AX650N会对TRansfoRMeR支持比较好,因为有一个全面优化的设计,还有一个高性能的多核架构。

AX650N也提供了简单便捷的部署能力,用户可以在爱芯元智的平台上高效运行原版模型,不需要对模型做修改,不需要QAT重新训练。

AX650N支持低比特混合精度,用户如果采用INT4,可以极大地减少内存和带宽占用率,可以有效控制端侧边缘侧部署的成本。

基于AX650N的产品已经在智慧城市,智慧教育,智能制造等计算机视觉重要领域发挥出重要作用。

爱芯元智将在7月推出基于AX650N的开发板——AXeRa-Pi Pro,满足开发者对TRansfoRMeR深度研究的需求。

Transformer大模型在边缘侧落地可行吗?爱芯元智AX650N表示无压力

爱芯元智将继续优化产品,加速基于TRansfoRMeR的大模型在端侧、边缘侧落地的节奏。

OpenMagic API

Need more than content? Move into the product flow.

If you are here for model access, pricing, developer docs, or the future API console, the dedicated product path now lives on api.openmagic.ai.

登录免费注册