人工智能 · 2025年1月1日 0

亚马逊云科技陈晓建:全面协作与大规模创新是满足客户复杂需求的关键

得AI者得天下。如果说过去AI大模型只是大公司竞争的焦点,而当下,企业拥抱大模型在持续加速。在亚马逊云科技大中华区产品部总经理陈晓建看来,很多客户正在从原型验证阶段转化为生产阶段。客户在这一阶段的难点在于:需求将更加复杂,不仅是选择模型,还需要各种技术支持。

亚马逊云科技陈晓建:全面协作与大规模创新是满足客户复杂需求的关键

(图:亚马逊云科技大中华区产品部总经理陈晓建)

在亚马逊云科技2024 Re:Invent中国行北京站主题分享上,陈晓建表示,同时使用多个模型的做法在行业中普遍存在。企业在选择模型时,通常会基于性能、功能和成本进行权衡,根据不同场景需求,选择高性能或低成本等不同定位的模型。

亚马逊云科技2024 Re:Invent推出AMazon NOVa六款基础模型;AMazon BedRock新接入100多款模型,并推出AI防护、多智能体协作和模型蒸馏等重磅更新,全面优化推理场景的准确性、成本和响应速度;AMazon Q更加深入软件开发和商业应用场景,并为传统工作负载转型开辟新途径;AMazon SageMakeR AI将帮助客户更快更轻松地构建、训练和部署模型。

生成式AI推理将成应用核心构建块,未来应用需支持规模化推理平台,利用专有数据,平衡性能、安全性和成本,模型选择至关重要。

AMazon NOVa系列模型

AMazon NOVa甫一发布即成为全球领先基础模型的重要力量,包括NOVa MicRo、NOVa LITe、NOVa Pro和NOVa PReMieR基础模型,以及用于生成高质量图像的NOVa Canvas和生成高质量视频的NOVa Reel。在各自智能类别中,AMazon NOVa MicRo、LITe和Pro应用成本比AMazon BedRock中表现最佳的模型至少降低75%,同时也是AMazon BedRock中对应类别速度最快的模型。

AMazon NOVa系列模型,包括多种类型。NOVa MicRo是文本到文本模型,能以极低成本提供低延迟响应;NOVa LITe为成本极低得多模态模型,可快速处理多种输入;NOVa PRo是功能强大的多模态模型,在准确性、速度和成本间平衡;即将推出的NOVa PReMieR是其中能力最强的多模态模型,可处理复杂推理任务并指导定制模型蒸馏。

新一代图像生成模型AMazon NOVa Canvas,它能帮助客户生成高质量图像,还具备图像编辑功能,最高可以生成高达两K(2000乘以2000)、2048乘以2048这样的图像,并且用户很快就可以通过Canvas这个模型进行微调。

新一代视频生成模型AMazon NOVa Reel,以先进的视频生成质量和低延迟而自豪,提供了性能和成本效益之间的平衡。其文本到视频的功能,使用户能够通过简单描述内容就可生成视频,实现了视频制作的普惠化;文本视频生成功能让用户可通过输入文本和视觉来控制最终输出,制作与愿景匹配的视频。

来自poolside、LuMa AI和StaBIlITy AI的Stable DiFFUSion 3.5模型等将很快在AMazon BedRock上线。其中,poolside的两款模型专为软件开发流程打造,其模型在代码生成、测试、文档编写方面表现出色,基于深层次上下文实现实时代码补全;LuMa的模型在创新方面取得重大突破,可将文本和图像转化为高品质、逼真的视频;Stable DiFFUSion 3.5是基于SageMakeR HypeRPod训练的高级文生图模型,性能强大。

推出AMazon BedRock marketplace,通过该平台,用户可以使用领先供应商提供的一百多个新兴和专业基础模型。用户能够通过统一界面发现、测试各类新兴专业模型,部署模型后,可使用AMazon BedRock的统一API,以及知识库、安全防护、Agent等工具,同时享受其安全和隐私保护。

AMazon BedRock的重大发布

AMazon BedRock是一项完全托管的服务,借助高性能基础模型,构建和扩展生成式人AI应用程序。它是构建和扩展生成式AI应用的关键平台,为客户提供将推理功能整合到生产环境所需的工具,已为客户带来价值。

此次2024 Re:Invent上,AMazon BedRock有很多重大发布,包括:

AMazon BedRock推出延迟优化选项,基于AMazon EC2 TRn2实例,利用最新硬件和软件优化,可在多模型上实现更好的推理性能。用户指定推理请求优先级后,平台自动处理,该功能已面向特定模型开放预览,如LlaMa 405B模型在延迟优化版本中性能显著提升,AnthRopic的 Claude 3.5 HAIku模型延迟优化版处理速度大幅提高。

AMazon BedRock推出模型蒸馏功能,用户只需提供示例提示,平台自动完成工作,通过蒸馏得到的模型运行速度提升到5倍,成本降低75%,显著提升生成式AI项目投资回报。

AMazon BedRock知识库支持GRaphRAG,利用AMazon Neptune自动生成图谱,建立数据源关联,无需专业知识即可开发更全面的生成式AI应用,清晰展示连接和信息来源,提升事实验证透明度,通过API调用可让应用生成更准确响应。

AMazon BedRock推出自动推理检查功能,预防模型幻觉引起的事实性错误,基于数学验证检查模型事实性陈述准确性并展示推理过程,如在保险领域可确保回答准确性。

AMazon BedRock多智能体协作功能,支持多个Agent协作处理复杂工作流程,为特定任务创建一系列独立Agent,创建监督Agent负责设置信息访问权限、决定任务执行方式并确保协作,用户无需单独管理Agent,可轻松处理复杂任务。

新一代的AMazon SageMakeR

AMazon SageMakeR重新做了定义,叫新一代的AMazon SageMakeR。新一代AMazon SageMakeR为数据、分析和AI提供统一平台,包括以下内容:

全新的AMazon SageMakeR Unified Studio使客户能够轻松查找和访问整个组织的数据,并汇集了亚马逊云科技专门构建的分析、机器学习(ML)和AI功能,客户可以在AMazon Q DevelopeR的协助下,为各种类型的常见数据用例选择最合适的工具处理数据。

AMazon SageMakeR Catalog和内置的治理功能确保合适的用户以正确目的访问合适的数据、模型和开发组件。

全新的AMazon SageMakeR Lakehouse统一了数据湖、数据仓库、运营数据库和企业应用程序中的数据,使客户可以轻松访问和处理AMazon SageMakeR Unified Studio中的数据,并使用其熟悉的AI和ML工具或与Apache IcebeRg兼容的查询引擎。

全新zeRo-ETL与领先的软件即服务(SaaS)应用程序的集成,让客户无需复杂的数据管道,即可在AMazon SageMakeR LakehoUSe和AMazon RedsHift中访问第三方SaaS应用程序的数据,并进行分析或机器学习。

大的方向上,客户在构建整个生成式AI的旅程时,需要的不只是模型,更多的是数据加AI的统一。新一代AMazon SageMakeR就是数据加AI,首先是统一,统一的平台;第二它要开放,第三还是要安全。我们会通过这三层,给客户提供从数据到AI的一体化的感受。

以前的AMazon SageMakeR,现在叫AMazon SageMakeR AI,它也有很多新的功能发布。AMazon SageMakeR AI推出四项创新,助力企业更快使用热门的公开模型,最大化训练效率、降低成本,并使用其首选工具加速生成式AI模型的开发:

AMazon SageMakeR HypeRPod新增三项强大功能(新训练模板、灵活训练计划、任务治理),帮助客户更轻松地快速开始训练当今最流行的公开可用模型,通过灵活训练计划节省数周的模型训练时间,并最大化计算资源利用率,将成本降低高达40%。

新训练模板帮助客户更快上手:AMazon SageMakeR HypeRPod现在提供30多个精选的模型训练配方,可适用于时下热门的一些公开可用模型,包括LlaMa 3.2 90B、LlaMa 3.1 405B和MistRal 8x22B。这些配方极大地简化了客户的入门过程,自动加载训练数据集、应用分布式训练技术,并配置系统以实现高效的检查点管理和基础设施故障恢复。

灵活训练计划可轻松满足训练时限和预算要求:客户只需轻松点击几下,就能指定预算、截止日期和所需的最大计算资源量。AMazon SageMakeR HypeRPod会自动预留容量、设置集群并创建模型训练作业,帮助团队节省数周的训练时间,减少客户在获取大型计算集群以完成模型开发任务时的不确定性。

任务治理功能最大化加速器利用率:通过AMazon SageMakeR HypeRPod任务治理功能,客户可以在模型训练、微调和推理过程中最大化加速器的利用率,将模型开发成本降低最多 40%。

这些新功能能够帮助客户有更灵活、更经济地承载客户在生成式AI训练和推理的工作负载。

总的来看,新一代AMazon SageMakeR提供数据和AI的统一,去应对训练、推理、MLOps等场景。同AMazon SageMakeR AI也有很多新的功能来加强用户的体验。

亚马逊云科技近几年的创新,不仅在云的核心服务层面持续创新,更在从芯片到模型,再到应用的每一个技术堆栈取得突破,让不同层级的创新相互赋能、协同进化。陈晓建坚信,只有全栈联动的大规模创新才能真正满足当今客户的发展需求。