人工智能 · 2024年2月5日 0

信也科技9¾模型管理平台助力行业集成创新的AI技术

近日,信也科技(NYSE:FINV)推出的9¾模型管理平台在信也科技开放日上首次亮相。9¾平台能够提供一站式人工智能模型服务,它以AI技术服务集团业务全链路,助力金融科技行业集成创新。

据了解,9¾平台的名称灵感来源于哈利·波特系列中的9¾站台,该站台可以通往魔法学院开启奇妙世界,而信也科技的9¾平台,则是通过人工智能技术支持集团科技业务,并为合作伙伴赋能。

为众人所熟知的是,人工智能发展数载,它潜移默化地影响着人们的生活,在越来越多的领域发挥着举足轻重的作用。无论是行业巨头还是新兴企业,均在人工智能领域发力,力图将此技术推广到更多的应用场景。

9¾模型管理平台:我从哪里来?

AI模型训练平台,基于核心模块和应用场景的不同,又可以称为深度学习平台、机器学习平台、人工智能平台。用户在AI平台能够使用不同的机器学习框架进行大规模的训练,对数据集与模型进行管理和迭代,同时通过API与本地部署等方式接入到具体业务场景中使用。

简单地说,AI平台=AI FAAS+(PAAS)+(IAAS)。业界不乏优秀的机器学习平台,如微软的Azure、亚马逊的AWS Machine Learning、阿里的PAI平台、百度的Paddle以及腾讯的TI平台。一般的平台产品基于基础的机器学习和深度学习计算框架进行二次开发,提供一站式的生态化服务,为用户提供从模型训练、模型评估、模型在线预测的全流程开发和部署支持,以期降低算法专家在工程化时的使用门槛。

9¾模型管理平台:我的解决方案

AI平台在搭建与落地的过程中,均会遇到机器学习门槛高、落地慢、实施周期长等问题。结合日常工作流程中遇到的问题,9¾平台提供了一系列的解决方案,以解决模型落地上的一系列难题。具体问题如下:

1、模型环境构建难,从模型到服务转化慢。2、多个模型共用一套环境,但模型需要独立更新,对环境的维护需格外谨慎,变更风险巨大。3、模型服务交付周期长,工程环节耗时长,人力投入大。4、模型服务回退慢,模型发布后,如发现有问题尝试退回到上一个版本需要数分钟,乃至数小时。5、模型服务扩容慢,面对突发流量时,响应延迟。

针对以上难题,9¾平台可提供详尽的解决方案,具体体现在以下五方面:

1、模型环境标准化描述,提供一套简单、统一、覆盖广的规范来定义模型环境,加快流程。2、将统一标准描述下的模型环境镜像化,支持模型容器化运行,提供模型环境隔离和模型运营隔离。3、工程环节代码采用自动生成技术,实现人力零投入,降低边际成本。4、模型发布环节采用蓝绿发布与金丝雀发布,提供操作简单的快速版本切换与流量切分。5、利用使用率、饱和度指标配合弹性伸缩算法,提供秒级的扩容,快速响应突发流量。

9¾模型管理平台:我的架构设计

根据企业不同的规模、资源及业务场景,AI平台往往有不一样的定位。例如AI和数据可同为一个中台、AI平台可视为业务中台的一部分、AI平台整合进技术中台或后台等。规模较小、资源有限的企业通常会选择使用第三方AI平台对业务进行服务,而非自建AI平台。但信也科技已有数据中台,因此信也科技的AI平台更多承担的是作为业务前台的模型算法供给角色,在数据中台的支持下,起到承载业务,对接数据与技术底层的作用。

信也科技9¾模型管理平台助力行业集成创新的AI技术

9¾平台的架构设计

时下主流的AI平台有两种产品形态:一种是趋向AutoML,主要为非算法专家提供的可视化训练平台,通过拖拽、拉取等方式完成模型设计和训练中的组件排布,完成模型构建,例如Azure;另一种是为专业人士提供的模型设计和训练工具,将模型训练和管理通过工程化平台进行集成管理。也有集成两种方式的AI平台,例如阿里的PAI,为各种层次的人工智能工作者与爱好者提供不同专业程度的工具。

信也科技对AI平台的定位是能够快速解决问题、提高能效。因此,信也科技优先选择为算法和模型运维工程师提供针对模型生命周期管理的解决方案。

9¾平台加速了模型生成和服务化,可提供一整套从模型管理、模型训练到模型部署、模型监控的全生命周期解决方案。它不仅可帮助算法专家解决训练环境与训练过程中的保存管理问题,还可帮助解决在模型部署和上线时的各种问题,并提供线上部署模型的监控服务。

目前9¾模型管理平台已部署各类模型数百个,实现模型日服务量超过1000万;可在秒级内获取合适资源;能自动使用CPU、GPU资源,实现自动扩容,性能提升60%;模型上线仅需1分钟,大大节约了部署时间。

信也科技9¾模型管理平台助力行业集成创新的AI技术

9¾平台的模型训练与线上服务

此外,9¾平台为模型训练提供了多套WorkSpace(工作区)容器。一个WorkSpace中包含多种模型开发时的工具,包括Jupyter、一些常用的IDE与一个终端界面。一个模型从准备到训练结束,产出代码均可在工作区内直接完成,在工作区内可安装各种依赖、尝试各种方法,甚至提交代码至Git,直至算法专家获得满意的模型。

针对模型的部署,信也科技独创了“流水线”的概念,模型的发布流水线只需4个步骤,一般发布一个模型不超过5分钟。

针对无需在实时场景下执行、或无法在实时调用场景下执行的耗时较久的模型,9¾提供了发布为Job任务的部署方式,用户可通过Job任务执行回溯任务或更新训练数据,整个过程非常游刃有余。

模型的代码和内部逻辑将作为一个黑盒,被打包为一个docker镜像,因此模型无论以何种方式发布,发布在何种环境内,都是绝对安全可靠的。通过管理模块与实际的服务模块,用户能够完成AI项目的管理和API、Job、镜像APP等上层应用的产出,整个过程无需任何运维人员、工程人员的干预,算法专家即可独立操作完成。

信也科技9¾模型管理平台助力行业集成创新的AI技术

9¾平台的模型管理模块

9¾模型管理平台:未来,我去往何方?

信也科技于12月17日成功举办首届科技开放日,并于当日首次揭秘了自身的科技全景图,用图谱的形式直观展示了大数据、人工智能、智能决策产品等硬核科研成果。目前9¾平台可支持信也科技所有科技业务,覆盖多个业务场景,同时支持多家外部合作伙伴。未来,信也科技的人工智能平台将在增强模型评估功能、在线预测平台化、支持分布式训练等方面持续深入探索。

信也科技9¾模型管理平台助力行业集成创新的AI技术

信也科技全景图