互联网资讯 / 人工智能 · 2024年2月17日 0

Transformer大模型在边缘侧部署是否可行?爱芯元智AX650N称没有问题

5月30日消息,ChatGPT成为史上增长最快的消费类应用。ChatGPT代表的高阶人工智能表现对人们的冲击。

ChatGPT使用的TRansfoRMeR架构是以自监督的方式预训练的,作为基于GPT预训练语言模型的消费类产品,ChatGPT的成功也让技术圈看到了TRansfoRMeR的巨大潜力。

越来越多AI研究领域开始把自监督方式预训练的TRansfoRMeR用在各大应用场景,以期待产生类似ChatGPT的智能涌现。

TRansfoRMeR模型往往需要巨大量的参数,才能出现所谓的“智能涌现”。因此,目前较为成功的GPT模型,大都是在“云端”进行训练和落地。

未来要想让GPT模型应用产品在消费级市场有广泛应用和发展,解决在端侧、边缘侧高效部署TRansfoRMeR将是关键一环。

爱芯元智技术团队对第三代高算力、高能效比的SoC芯片——AX650N进行了优化,经测试,优化后的AX650N已成为业内首屈一指的TRansfoRMeR端侧、边缘侧落地平台。

Transformer大模型在边缘侧部署是否可行?爱芯元智AX650N称没有问题

对于有在端侧、边缘侧部署TRansfoRMeR模型以提升图形图像识别精度的企业来说,借助AX650N就能实现TRansfoRMeR模型落地、提升其视觉能力。

AX650N是爱芯元智于2023年3月推出的SoC芯片,具有高性能、高精度、易部署、低功耗特征。

经适配TRansfoRMeR调优后,AX650N平台表现出色:361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗。

Transformer大模型在边缘侧部署是否可行?爱芯元智AX650N称没有问题

AX650N会对TRansfoRMeR支持比较好,因为有一个全面优化的设计,还有一个高性能的多核架构。

AX650N也提供了简单便捷的部署能力,用户可以在爱芯元智的平台上高效运行原版模型,不需要对模型做修改,不需要QAT重新训练。

AX650N支持低比特混合精度,用户如果采用INT4,可以极大地减少内存和带宽占用率,可以有效控制端侧边缘侧部署的成本。

基于AX650N的产品已经在智慧城市,智慧教育,智能制造等计算机视觉重要领域发挥出重要作用。

爱芯元智将在7月推出基于AX650N的开发板——AXeRa-Pi Pro,满足开发者对TRansfoRMeR深度研究的需求。

Transformer大模型在边缘侧部署是否可行?爱芯元智AX650N称没有问题

爱芯元智将继续优化产品,加速基于TRansfoRMeR的大模型在端侧、边缘侧落地的节奏。